Hadoopソースコードリーディング第17回

Apache Tezの回 ■アジェンダ:(リンクは発表資料) ・Tez Internals (@oza_x86 さん) https://gist.github.com/oza/470e961ff10b60778772 続きを読む
0
Kenichiro HAMANO @hamaken

9月9日に開催するHadoopソースコードリーディング 第17回の構成がほぼ決まった。Apache Tezネタです。本日中に参加登録を開始できるようにするつもりです。 #hadoopreading

2014-09-02 14:19:00
Kenichiro HAMANO @hamaken

【告知】 9月9日に、Apache Tezをテーマに Hadoopソースコードリーディング 第17回を開催します → hadoop-scr17th.eventbrite.com #hadoopreading

2014-09-02 17:06:52
Kenichiro HAMANO @hamaken

(続き) Tez開発に関わる @oza_x86 氏による「Tez internals」、@marblejenka 氏による「アプリケーションエンジニアから見たTez」の発表を予定しています hadoop-scr17th.eventbrite.com #hadoopreading

2014-09-02 17:07:46
MasahitoKawai @masahitokawai

どうしようかなぁ… “@hamaken: 【告知】 9月9日に、Apache Tezをテーマに Hadoopソースコードリーディング 第17回を開催します → hadoop-scr17th.eventbrite.com #hadoopreading

2014-09-02 19:57:08
Kenichiro HAMANO @hamaken

明日のApache TezなHadoopソースコードリーディング 第17回が いつのまにか定員に達していたので、5名分を増枠しておきました #hadoopreading hadoop-scr17th.eventbrite.com

2014-09-08 11:35:18
Kenichiro HAMANO @hamaken

本日のHadoopソースコードリーディングですが、(前回と同様)いつものビルの隣なので、要注意です! #hadoopreading

2014-09-09 12:25:22
Kenichiro HAMANO @hamaken

本日のApache Tezな「Hadoopソースコートーリーディング 第17回」のUst配信は、ここで見れるかも → ustream.tv/channel/hadoop… 片手間での配信なので、適当ですがお許しを。 #hadoopreading

2014-09-09 18:49:56
k_yoshida @ysd061

Hadoopソースコードリーディング17回〜Tez編〜@豊洲 参加者、昨日のSparkと半分くらいかぶってるのでは。 #hadoopreading

2014-09-09 19:08:38
Kenichiro HAMANO @hamaken

. @oza_x86 さんによる Tez Internals が始まりました! #hadoopreading

2014-09-09 19:14:07
k_yoshida @ysd061

Sparkとの違いについて聞こうと思ってたら既にまとまっていた。/ リピさんとオザさんのTezとSparkの会話 - Togetterまとめ togetter.com/li/717215 #hadoopreading

2014-09-09 19:20:32
tagomoris @tagomoris

TezのDSLは人間が書くものではない #hadoopreading

2014-09-09 19:21:00
AOE Takashi @aoetk

Ustで見てると、顔認識カメラを使っているのか、顔に常に枠が映っているw #hadoopreading

2014-09-09 19:21:49
tagomoris @tagomoris

All-in-one のSparkとlayer毎にプロダクトを分ける選択のTez #hadoopreading

2014-09-09 19:22:51
tagomoris @tagomoris

Spark自信がユーザフレンドリなDSLを公開APIとして揃えるためにはRDDが要るんだろなという気がする #hadoopreading

2014-09-09 19:25:18
tagomoris @tagomoris

Tezは自分はまじで dynamic reconfiguration に期待している #hadoopreading

2014-09-09 19:25:56
marble @marblejenka

#hadoopreading Optimusこれか research.microsoft.com/apps/pubs/defa… Dryadよりアグレッシブに統計情報を取れるようにするらしい

2014-09-09 19:27:38
tagomoris @tagomoris

DIに強い拒否感を示す世代のJavaプログラマ @oza_x86 先生 #hadoopreading

2014-09-09 19:31:33
AOE Takashi @aoetk

Ustをながら見してますが、「TezのソースはモダンJavaっぽくて綺麗」という話が耳に飛び込んできた。 #hadoopreading

2014-09-09 19:33:26
tagomoris @tagomoris

TezのschedulingType CONCURRENTは定義はあるがまだ実装されてないw 現状はSEQUENCIALのみ #hadoopreading

2014-09-09 19:43:40
marble @marblejenka

#hadoopreading DataMovementType.CUSTOM とかがある。EdgeManagerPluginDescriptorとかを実装すると特殊な挙動を与えられそう。

2014-09-09 19:44:44
Akihiro Okuno @choplin

tezのwordcountのコード、手でDAGを一つ一つ組み上げることで暖かみの(ry という感じがする #hadoopreading

2014-09-09 19:48:22
k_yoshida @ysd061

TezのAPI、なんとなくStormのAPIに似てる。Vertex→Bolt、DataMovementType→StreamGroupingsな位置づけ。 #hadoopreading

2014-09-09 19:54:52