IIJ Technical WEEK 2013 1日目 #iij_tw2013

まつもとりー / Ryosuke Matsumoto @matsumotory

MOGOK氏もLXCでnamespaceとかcgroupを駆使してるらしい。 https://t.co/kJDe9y93ye #iij_tw2013

堂前@IIJ @IIJ_doumae

bundle install時はLXCコンテナの中で実行。コンテナ間の通信禁止。アプリ実行時もコンテナ内で実行されている。DBサーバは共用だが、アクセス制御はしっかりとかけてある。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

今公開しているものはOpenβ、無償。それなりのユーザ数になっている。法人向けの有償版を現在開発している。複数アプリ対応、非同期実行、cron的なJOB。専用DB(容量拡張可能)の提供も。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

無償版のMOGOKも継続して提供します。沢山の人に使ってもらうため、少し実行可能なインスタンス数を減らすかも。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

有償版は法人しか使えない？個人でも法人(有償)版相当の機能を利用できるものも用意します。IIJに個別にコンタクトください。ケースによっては(有償版を)無償で提供することも。 #iij_tw2013 http://t.co/RRBdP8Dr1V

oza @oza_x86

IIJ の発表項目に Hadoop があるんだけど，MapReduce 独自実装系の pmux はどうしたんだろう #iij_tw2013

堂前@IIJ @IIJ_doumae

事例。教育関連。島根県、徳島県。Rails Girls。有料セミナーでの事例も…COBOLエンジニア向けRailsセミナーでMOGOKを活用。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

IIJはRubyアソシエーションに加盟しています。Ruby, mrubyに対してcommitしています。MOGOKはRubyアソシエーション認定クラウドサービスです。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

MOGOKの教育での利用についてお手伝いしています。教育で活用したいという希望があれば、コンタクトしてください。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

Q:Ruby/Railsを選んだ理由は？A:松江にコンテナDCを作った→松江市と仲良くなった→必然的にRubyの話題が。IIJは10年ぐらい前から社内でRuby使っていたこともあり、一緒にやろうという話に。 #iij_tw2013 http://t.co/RRBdP8Dr1V

高玉 広和 @takatama_jp

PaaSの市場はこれから。IaaSを超えると考えている。IIJがRoRを選んだのは、松江にデータセンターがあることがきっかけらしい。教育関係者が利用するときには特典があるかも #iij_tw2013

堂前@IIJ @IIJ_doumae

Q:デバッグの支援はどんな風に？A:必要だと思われるログはWebUI/コマンドから確認できるようになっています。手元でデバッグすることもできる、デバッグ済みのものをuploadする使い方もあります。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

MOGOKの情報は公式blog「もごろぐ」にも→ http://t.co/QmynZ5tz15 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

【IIJ Technical WEEK 2013】Indexer Bullet によるビッグデータ解析 / IIJイノベーションインスティチュート チーフアーキテクト 藤田昭人 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

ビッグデータ解析プラットフォームを目指してIndexer Bulletを開発中。様々なストレージに対するキャッシュとして動作。ユーザ定義関数により動作を拡張可能。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

5月にプロトタイプとしてwikipediaランキング向けの実装を開発。 http://t.co/EQdcjB4pH5 10月に汎用化したシステムに向けて再実装。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

「ビッグデータ」はみんなが手をつけるが、だれも「何が正しい」かはわかっていない。ビッグデータの解析プロセスを形作るところから始めた。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

データを取得→抽出・加工→モデリング。関係性を推測し、検証。再度抽出・加工を繰り返してモデルを作ってゆく。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

大量のデータを取得しても、そのままでは計算できない。抽出・加工プロセスで様々なサンプリングしたデータを生成し、モデリングツールに投入する。不適であれば、もう一度元データから抽出し直し。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

iBullet(Indexer Bullet)ではキャッシュシステムをベースにしている。抽出したデータを一時的に保管しておき、反復処理に必要な時間を節約。キャッシュを有効に活用するため加工処理を段階化するなど。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

キャッシュレイヤに処理を閉じ込めている。複数の作業者が同時に作業を行っている場合、他の誰かが作業した結果(キャッシュ)を利用できる場合がある。効率的にデータが利用できる。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

iBulletの分散。多段化された加工処理を複数のノードに配置することで能力を高める。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

例:連続ドラマに着目したWikipediaPVC解析。WikipediaのPVデータ・ページデータを入手。各ドラマ毎に関連ページのPVを抽出。Excel・Rでモデル化を実施。 #iij_tw2013 http://t.co/RRBdP8Dr1V

堂前@IIJ @IIJ_doumae

WikipediaのPVデータ。圧縮状態で3TB、展開すると12TBぐらいある。その中で日本語版のPVデータは6%(730GB)程度。wikipediaページのダンプ175万ページ。実在するページは88万。 #iij_tw2013 http://t.co/RRBdP8Dr1V