Spark Casual Talk #1 まとめ #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual Hue の Notebook 機能. 次のバージョンで出る.

もんた @___monta___

Clouderaの人きた！ #spark_casual

potix2 @potix2

notebook戦争の様相を呈している #spark_casual

Aki Ariga @chezou

(JupyterとIPythonは同じですよ…小声 #spark_casual

もんた @___monta___

ふーむ、HUE いいですね。 さわるだけでも面白そう #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual 最後は @oza_x86 さん!!!!!!!!!

κeen @blackenedgold

きゃー @oza_x86 さーん #spark_casual

SKS/ファントムの申し子 @repeatedly

ｷｬｰｰ @oza_x86 ｻｰｰｰﾝ！ #spark_casual

Tatsuo Kawasαki @kernel023

本日のSpark Casual Talk #1 のLT資料です。 Hue Notebook - slideshare.net/kernel023/hue-… #spark_casual

SKS/ファントムの申し子 @repeatedly

@oza_x86 先生，存在がカジュアルじゃない #spark_casual

Aki Ariga @chezou

JupyterでもSparkSQL使えそうだった #spark_casual github.com/andypetrella/s…

potix2 @potix2

カジュアルさが完全に消えたw #spark_casual

Kousuke Saruta/猿田 浩輔 @raspberry1123

YARN ClientモードとかClusterモードの細かい話。カジュアルトークとは何だったのか #spark_casual

x1 @iyunoriue

@oza_x86さんのYARNのLT面白い(∩´∀｀)∩ #spark_casual pic.twitter.com/WK1XFGLoam

拡大

tomo🐧@learning @cocoatomo

#spark_casual spark driver が NodeManager にいるのが yarn-cluster mode client にいるのは yarn-client mode, Spark (?) interpreter が使える. (聞き逃したかも)

もんた @___monta___

最後のLTが結構スパルタ（笑） #spark_casual

Kousuke Saruta/猿田 浩輔 @raspberry1123

今のDynamicリソースアロケーションの問題のひとつは、RDDのキャッシュが破棄されちゃうことなんだよね。 #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual Dynamic resource allocation executer の設定を動的に設定する. RDD 消えるのはどうしよう? → external shuffle plugin を使う.

Yuta Imai @imai_factory

External Shuffle、必殺技っぽい #spark_casual

もんた @___monta___

dynamic resource allocation NodeManagerにRDDに移管する！？ #spark_casual

Toru Shimogaki @shimtoru

external shuffle ... YARNの開発をやっていてもマニアックな機能 #spark_casual

x1 @iyunoriue

external shuffleすごくない！？ #spark_casual