Spark Summit2016報告会&データ分析勉強会

2016年7月26日に開催された”Spark Summit2016報告会&データ分析勉強会”のまとめです。
1
Kimihiko Kitase @kkitase

Spark Summit2016報告会&データ分析勉強会 pic.twitter.com/lRPMhop4MU

2016-07-27 11:26:37
拡大
Masaru Dobashi @masaru_dobashi

細かなトピックは調整中ですが、こちらにLTで参加させていただきます。Spark Summit2016報告会&データ分析勉強会 connpass.com/event/34579/ #sparkmeetup

2016-07-19 12:40:28
Masaru Dobashi @masaru_dobashi

この手の勉強会では、このくらいの超過人数だったら当日近くに繰り上がり参加できることもあるよね、という話を前に同僚とした。事前抽選とどっちが幸せか? Spark Summit2016報告会&データ分析勉強会 connpass.com/event/34579/ #sparkmeetup

2016-07-19 22:01:14
upmeetup.info bot @upmeetup

07/26(火) [参加237人/定員156人]bit.ly/29h37B1【Spark Summit2016報告会&データ分析勉強会】 #sparkmeetup

2016-07-24 20:44:12
Masaru Dobashi @masaru_dobashi

本日は「データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~」というお話をさせていただこうと思います。押さえておくべきコツをドドドっと紹介します。(プロダクト固有の話は省略) connpass.com/event/34579/ #sparkmeetup

2016-07-26 14:43:20
Kimihiko Kitase @kkitase

本日はこちらです。NHNテコラスさんでやりまーす。> Spark Summit2016報告会&データ分析勉強会 connpass.com/event/34579/ #sparkmeetup

2016-07-26 17:36:49
Masaru Dobashi @masaru_dobashi

そういえばconnpassの登録時間は18:00~になっていますが、説明を読むと18:30開場っぽい。 18:30からであっていますよね…? Spark Summit2016報告会&データ分析勉強会 connpass.com/event/34579/ #sparkmeetup

2016-07-26 18:15:57
joker1007 (アルフォートおじさん) @joker1007

#sparkmeetup 来たら、BGMにずっとイエモンのsparkがかかっているw

2016-07-26 19:00:05
Kimihiko Kitase @kkitase

Spark Summit2016報告会&データ分析勉強会 始まります ハッシュタグは、#sparkmeetup connpass.com/event/34579/

2016-07-26 19:08:26
Masaru Dobashi @masaru_dobashi

ストリーム用の…は、DStreamですね。 #sparkmeetup

2016-07-26 19:10:46
Aki Ariga @chezou

「Spark 2.0では機械学習の学習結果を保存できるようになった」というのは何を持っていっているのかな。pipelineまで含んでってことだっけかな #sparkmeetup

2016-07-26 19:11:27
Masaru Dobashi @masaru_dobashi

Spark Summit 2016は相当の数のセッションがありましたね。会場のキャパの限界だったのでは、と。(お昼ごはんの混雑が大変でした) #sparkmeetup

2016-07-26 19:13:20
Aki Ariga @chezou

"学習結果"というのはpipeline含めた結果を保存できるようになったということで良さそう #sparkmeetup / “Apache Spark 2.0 Preview: Machine Learning Model Pe…” htn.to/enU9mRyqhN1

2016-07-26 19:15:09
Masaru Dobashi @masaru_dobashi

私も以前Strataで話した事例ではPython + Sparkで書いていました。 #sparkmeetup

2016-07-26 19:16:43
Aki Ariga @chezou

WesはPython版DataFrameであるpandasの作者で、RのHadley Wickhamと言語をまたいだデータ形式Arrowの話をしたみたいですね slideshare.net/wesm/high-perf… #sparkmeetup

2016-07-26 19:20:56
Masaru Dobashi @masaru_dobashi

UCLAの方もSparkでGPUを活用するためのライブラリを開発していましたね。 #sparkmeetup

2016-07-26 19:21:41
Kimihiko Kitase @kkitase

#sparkmeetup 木内さん: Spark2.0以降も継続的な進歩が行われる。エコシステムは継続的に拡充される。おおよそ考えうる限りのユースケースが出始めている。

2016-07-26 19:24:13
Masaru Dobashi @masaru_dobashi

UCLAの方のライブラリは本人に聞いたところ、GitHubに公開されているバージョンは少し古いらしかった。いまはどうなったかな?「公開準備しているよー。」とは言っていたけど。 #sparkmeetup

2016-07-26 19:24:14
joker1007 (アルフォートおじさん) @joker1007

グラフ構造データに対してクエリ投げられるというのも結構気になる。 #sparkmeetup

2016-07-26 19:25:32
Masaru Dobashi @masaru_dobashi

実際S3から読み込む系の話も増えているなぁ…。けど、身の回りではまだまだHadoopと組み合わせて…というユースケースも多い印象。 #sparkmeetup

2016-07-26 19:29:33
Masaru Dobashi @masaru_dobashi

Tungsten自体は、じつは1系から少しずつ(?)入っていましたね。(正確には、Tungstenと名前がつく前からだったと理解しています。いくつかの改善ポイントは、後からTungstenの一環となったはず) #sparkmeetup

2016-07-26 19:32:46
1 ・・ 4 次へ