HadoopSummit2010の各自のレビューのまとめですか

御徒町@Serializable @okachimachiorz

ちょｗ。いきなり魂の叫びが。（そしてそれがわかる人は何人いるのでせうか・・・）RT @shot6 Thriftもいらない。全然いらない。

Shinpei Ohtani @shot6

Piglet > http://github.com/ningliang/piglet 名前がひどいなあｗ

Shinpei Ohtani @shot6

BirdBrain、Twitterのダッシュボードっぽい。

Shinpei Ohtani @shot6

.@okachimachiorz 今年後半くらいにそうなるかと思ったのですが、どうも想像以上にDryadの進みが遅いのですよね。会社の仕事的には両側面抑えるが妥当と思ってます。

Shinpei Ohtani @shot6

今年当初くらいに思ってたのは、夏くらいにDryad登場→Hadoopに足りないところあるね→んじゃあ機能を足すか→DryadでもHadoop+αでも同等機能の提供。こういうシナリオ。

Shinpei Ohtani @shot6

Karmashereは使ってみようかな。JSR305もサポートしてんのか・・・

Shinpei Ohtani @shot6

開発時にはEMR使って、ステージングで自社内プライベートクラウド、本番は顧客DCみたいなことが可能なのはよさげ。

Shinpei Ohtani @shot6

@kudoh_shigenori http://www.slideshare.net/ydn/3-hadoop-pigattwitterhadoopsummit2010　のp12, 13です。入力データはtweetなどのMySQLに格納されたデータですね。

Shinpei Ohtani @shot6

Oozie。構成要素は2つ。workflow engine/coordinator engine。

Shinpei Ohtani @shot6

インデックス構築を4日間から6時間に短縮。現状Oozieユーザは50、ワークフローアプリは約5000、最大ワークフローは2000アクション、平均18アクションくらい。アクションをPigで書く人多し。

Shinpei Ohtani @shot6

様々な苦労が。現状ってOzzie2なのか。

Shinpei Ohtani @shot6

Oozie2からタイムラインで分析機能が強化されたぽい。おーって感じ。

Shinpei Ohtani @shot6

Oozie2 > http://yahoo.github.com/oozie/releases/2.0.0/

Agile Cat @Agile_Cat

そこでね、、、Bing の MR が Hadoop なのか Dryad なのか、、、なのですよ。 後者なら、そう言うと思うのですが。 RT @okachimachiorz: このままおくとHadoopは間違いなくDryadに進みますよ・・・・そひて、OSSvsMS、再びみたいな。

Shinpei Ohtani @shot6

Oozie2 + Pigがいけそうな感じ。

Shinpei Ohtani @shot6

Hadoopサミット2010さっくりまとめを何人かで分担して、Hadoopソースリーディングのコンテンツにしてしまう、というのはどうか。

Shinpei Ohtani @shot6

あれ？Oozie、パッケージ名がorg.apacheになってる。ということはApacheに寄贈すんのかな。

Shinpei Ohtani @shot6

CascalogはClojureで書いたHadoopでのデータ処理のためのDSL。