「初めてのSpark」刊行記念 Spark Meetup 2015 #Sparkjp のまとめ
Spark は Deep Learning で相性わるいかもと言われていましたが、「Spark Deep Learning」と 名前先行でプロジェクトが立ち上がれば、盛り上がりそう(希望) #Sparkjp
2015-09-09 21:16:31初めてのSparkのちら裏レポっす。間違い不都合等あればお教えください。#sparkjp gist.github.com/satoshihirose/…
2015-09-09 21:17:24Spark StreamingはCloud Pubsubとも連携できます。サンプルが公開されています。 github.com/GoogleCloudPla… #sparkjp
2015-09-09 21:33:44@ko_ash これ、 かっこを忘れとった。。→ 不偏分散 = n/(n-1) 標本分散 #Sparkjp #自レスにリプライ
2015-09-09 22:51:54今日のJairamのセッションの時にフライングで話してたのはこれ。Why Cloudera is saying 'Goodbye, MapReduce' and 'Hello, Spark' : fortune.com/2015/09/09/clo… #Sparkjp
2015-09-09 23:41:16Spark Meetupの開催とSpark 1.5のリリースと、ClouderaがMapReduceをSparkに置き換えていくってアナウンスと台風で記録的大雨というのが全て同じ日っていうのは相関があるとしか (ry
2015-09-10 00:37:58キレイにまとまってて、これ以上追加する事がない。 発表者のスライドはアップされないかなぁ。Jairam Ranganathanさんのスライドはもう一度見直したい…。英語をちょっとでも理解するので手一杯だった。 #Sparkjp twitter.com/satoshihirose/…
2015-09-10 00:40:38@satoshihirose インメモリって公式ページにも書いてあるから誤解を招いてると思うんですけど、Sparkが速いのは、主に「ストレージI/Oが少ないから」でしょう。mapやreduceフェーズごとのデータの書き出しと、JVMの起動によるI/Oがないので。 #sparkjp
2015-09-10 01:33:16@satoshihirose シャッフルを伴う処理の時は、もちろんI/Oが生じますが、それでもMapReduceにくらべれば、全体としてはずっと少なくなるはず。 #sparkjp
2015-09-10 01:34:20昨晩の猿田さんの発表と似た発言がちらほらある。> "Meet Cloudera’s Apache Spark Committers" blog.cloudera.com/blog/2015/09/m… #Sparkjp
2015-09-10 13:59:54「初めてのSpark」刊行記念 Spark Meetup 2015での Jai の資料です。"Apache Spark: Usage and Roadmap in Hadoop" : slideshare.net/Cloudera_jp/ap… #Sparkjp
2015-09-10 15:09:54「初めてのSpark」刊行記念 Spark Meetup 2015 のまとめ togetter.com/li/871909 #Sparkjp
2015-09-10 15:13:10【はてブ新着ゲーム・アニメ】 Spark Meetup 2015 で SparkR について発表しました #sparkjp - ほくそ笑む dlvr.it/C6MllG
2015-09-10 18:28:06