SparkMeetup

KAWACHI Takashi @kawachi

Spark で100人集まるのかー。すご。 Spark Meetup connpass.com/event/8465/ #sparkmeetup

Kenji Yoshida @xuwei_k

今日ですよ！ connpass.com/event/8465/ #sparkmeetup

Makoto Sasaki @makoto78sasaki

到着 #sparkmeetup pic.twitter.com/5vHpoflfx7

拡大

Takuya UESHIN @ueshin

Spark Meetupに潜入！ (@ 株式会社ドワンゴ in 中央区, 東京都) swarmapp.com/ueshin/checkin…

ひろ @hiroaqii

繰り上がりキタ。今から出発なので開始時間には間に合わないが行く。 #sparkmeetup

えぴょん @epy0n0ff

間に合った。#sparkmeetup (@ 株式会社ドワンゴ in 中央区, 東京都) swarmapp.com/epy0n0ff/check…

tagomoris @tagomoris

Spark meetupで初めてドワンゴオフィスに来た！ 前の方は怖いScalaユーザがぞろぞろいそうなので後ろでひっそりと潜伏している #sparkmeetup

Kenji Yoshida @xuwei_k

もうすぐ始まります #sparkmeetup pic.twitter.com/huqdwsG034

拡大

Yuri Odagiri @ixixi

始まりました #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

ちょい微妙なFailureの定義。#sparkmeetup

tagomoris @tagomoris

え、HDFS outageにも対応できるの #sparkmeetup

Kenji Yoshida @xuwei_k

「What does "failure" mean for Spark」という話 #sparkmeetup

Takuya UESHIN @ueshin

「うえしん」て書いてあるんですがががが

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

failureモデルから入るという正当派的説明に見える。#sparkmeetup

Kenji Yoshida @xuwei_k

サンプルデータに日本語名入ってて、芸が細かいw #sparkmeetup

Toshihiro Shimizu @meso

日本語で質問しても誰かが英語にしてくれるそうですよ #sparkmeetup

もろ @低規模言語モデル ';DROP TABLE 人生-- @jagd5168

Spark の Key-Value は Tuple2 で表します。 #sparkmeetup

土佐鉄平 @teppei_tosa

SparkのDAGを作るところは、#AsakusaFWをやっているとイメージつきやすい。AsakusaFWはDAGのビジュアライズまでやってくれるから。 #sparkmeetup

Nobuhiro Sue @nobusue

このへんの説明はHadoop Conferenceでも見たな #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

まずは実行計画の説明な感じ。ありがちなTaskへの分割の話とか #sparkmeetup

tagomoris @tagomoris

あれ、Shuffleて必ずdiskに書く？ 書かないようにできるよね、と思ってたけど #sparkmeetup

御徒町＠MultiVersionConcurrentClimber(MVCC) @okachimachiorz1

この辺のpull-baseがアレという話か。#sparkmeetup

tagomoris @tagomoris

Shuffleを介さないケースだけオンメモリ？

土佐鉄平 @teppei_tosa

やっぱりshuffleの時にDisk書き込みするのか。そこもインメモリでやるイメージを持っていたけど。 #sparkmeetup

Kenji Yoshida @xuwei_k

スライドにしっかり図が入ってて、英語全部聞き取れなくてもわかりやすい #sparkmeetup