限定公開でまとめを作れば、相互フォローやフォロワー限定でまとめを共有できます!

夏真っ盛り!Spark + Python + Data Science祭り まとめ #summerDS

2016/07/25 DMM.comラボ様にて開催したイベントのまとめです。 イベントページ: http://connpass.com/event/34680/
Spark datascience Python
3557view 0コメント
1
Cloudera Japan @ClouderaJP
本ミートアップのライトニングトークの発表者3名が決まりました!発表者、テーマなどはConnpass上のイベントの説明をご覧ください。 connpass.com/event/34680/ #summerDS
Aki Ariga @chezou
SparkとPython、データサイエンスの夏祭り #summerDS 始まりますー
しばたこ @uryyyyyyy
qiita.com/uryyyyyyy/priv… 今日のLT資料です。機械学習初心者なので、主に質問しに来ました^^; #summerds
Tatsuo Kawasαki @kernel023
この話を書いてホットエントリ入りした: データを一箇所に集めることでデータ活用の民主化が進んだ話 chezou.hatenablog.com/entry/2016/05/… #summerDS
うさたーん @usaturn
pandas の作者は cloudera の方だった #summerDS
Tatsuo Kawasαki @kernel023
pandasの開発者のWesはClouderaのエンジニア。今年の秋に日本に来る予定 #summerDS
花田賢人 @hanaken_n
来た / 夏真っ盛り!Spark + Python + Data Science祭り connpass.com/event/34680/ #summerDS
Sho Shimauchi @shiumachi
ちなみに今回のイベントで皆さんが書いてくれたアンケートも @chezou が Jupyter notebook 使って集計して社内で見せてくれた。外部公開するかは知らないけど #summerDS
Tatsuo Kawasαki @kernel023
オライリーの「Pythonによるデータ分析入門」は来年第2版が出るらしい #summerDS
うさたーん @usaturn
pandas は全部メモリに載せてしまうのでイテレータでちょっとずつみたいな事が必要 #summerDS
Tatsuo Kawasαki @kernel023
IbisはPythonとビッグデータをつなぐライブラリ。pandas作者のWesが開発しているでPythonとSQLエンジン(Impalaとか)を橋渡しする #summerDS
Sho Shimauchi @shiumachi
pandasだとプログラマブルに書くにはオンメモリ一択だったけどIbisならプログラマブルに外部DBにクエリ投げれる!便利! #summerDS
うさたーん @usaturn
Ibis は裏に Impala 等の SQL エンジンを置いてブログラマブルに処理ができる #summerDS
しばたこ @uryyyyyyy
こういう可視化が簡単に出来るの良いですね #summerDS
tomomoto @tomomoto_LV3
ibisは、RedShift対応予定らしい。(熱望) #summerDS
Sho Shimauchi @shiumachi
IbisはRedshift や Presto、 PostgreSQL にも対応予定らしい #summerDS
Tatsuo Kawasαki @kernel023
Ibisのデモ中。jupyterからIbisでImpala経由でMovielensのデータを処理。2000万件。sickit-learnで機械学習。 #summerDS
しばたこ @uryyyyyyy
ibis inparaはsparkの7倍速いらしい。 #summerDS
うさたーん @usaturn
Ibis が pyspark より優位な部分 設定が簡単 速い(裏の SQL エンジンの分) #summerDS
Tatsuo Kawasαki @kernel023
裏でImpalaを使っていて結果が早く返ってくるからSparkの7倍くらい試行錯誤できるよ #summerDS
残りを読む(96)
ログインして広告を非表示にする
ログインして広告を非表示にする