Spark Casual Talk #1 まとめ #spark_casual

SKS/ファントムの申し子 @repeatedly

DataFrame，最近pandas-td使っている時に便利だなぁと感じた #spark_casual

x1 @iyunoriue

待望のDataFrame！ #spark_casual pic.twitter.com/rPg5NHL9rz

拡大

Aki Ariga @chezou

DataFrameといえばpandasなんだな… #spark_casual

SKS/ファントムの申し子 @repeatedly

日本はR勢多いけど，海外はPython勢の方が勢いがあると，某氏が言っていた #spark_casual

Aki Ariga @chezou

SparkRとかPySparkのセグフォ周りどうしてるのか気になる #spark_casual

κeen @blackenedgold

baiduが8000ノードのspark… #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual Spark Summit ではデータ分析の話が多かった. 日本ではどうなんだろ??

くろさん @kuro_m88

産学連携しながらコミュニティが成長している #spark_casual

Yuta Okamoto @okapies

性能改善の取り組みが活発になってきた、アカデミックな雰囲気もけっこうある、と。 #spark_casual

kenji fujikawa @kengggy

スライド、動画も公開されるらしい。リスニングできないけど。 #spark_casual

Noritaka Sekiyama @moomindani

分析系のチュートリアル気になる。 #spark_casual

κeen @blackenedgold

最近のハードウェアだとCPUがボトルネックになる #spark_casual

散歩 @PENGUINANA_

スライドでも紹介されてたけどperformanceの話これ面白かった databricks.com/blog/2015/04/2… #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual パフォーマンス改善の話の紹介. 「NW, SSD, IO, Dataformat を改善すると CPU がボトルネックになる」 そらそうだろと思うのだが, よく分からん.

SKS/ファントムの申し子 @repeatedly

CPUがボトルネックになるの，わかる #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual Tungsten. CPU のパフォーマンスの改善プロジェクト.

κeen @blackenedgold

Tangsten: Javaから離れてメモリを自前管理 #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual DataFrame 層での最適化+Tungsten による最適化

Tatsuo Kawasαki @kernel023

Tungstenはオフヒープメモリを使うとのこと。なお、HBaseもオフヒープにキャッシュできるし、HDFSキャッシングもオフヒープ領域を使う #spark_casual

tomo🐧@learning @cocoatomo

Catalyst の名前も出てきた. #spark_casual

SKS/ファントムの申し子 @repeatedly

土橋さんだ！ #spark_casual

tomo🐧@learning @cocoatomo

#spark_casual CA さんはどれくらい使ってるんだろ?

Noritaka Sekiyama @moomindani

土橋さんの説明がわかりやすかった。 #spark_casual

Toru Shimogaki @shimtoru

サイバーエージェントでのSparkの利用 → 分析基盤、一部streaming、まちまち。共通基盤は無くアドホックに。気軽に使っている #spark_casual

SKS/ファントムの申し子 @repeatedly

台数が濁されてしまった…そういう小さい規模だと，Sparkも問題なさそう #spark_casual