2016年7月26日

夏真っ盛り!Spark + Python + Data Science祭り まとめ #summerDS

2016/07/25 DMM.comラボ様にて開催したイベントのまとめです。 イベントページ: http://connpass.com/event/34680/
1
Cloudera Japan @ClouderaJP

本ミートアップのライトニングトークの発表者3名が決まりました!発表者、テーマなどはConnpass上のイベントの説明をご覧ください。 connpass.com/event/34680/ #summerDS

2016-07-21 13:21:48
Aki Ariga @chezou

SparkとPython、データサイエンスの夏祭り #summerDS 始まりますー

2016-07-25 19:02:05
しばたこ @uryyyyyyy

qiita.com/uryyyyyyy/priv… 今日のLT資料です。機械学習初心者なので、主に質問しに来ました^^; #summerds

2016-07-25 19:06:51
Tatsuo Kawasαki @kernel023

この話を書いてホットエントリ入りした: データを一箇所に集めることでデータ活用の民主化が進んだ話 chezou.hatenablog.com/entry/2016/05/… #summerDS

2016-07-25 19:09:35
うさたーん @usaturn

pandas の作者は cloudera の方だった #summerDS

2016-07-25 19:11:44
Tatsuo Kawasαki @kernel023

pandasの開発者のWesはClouderaのエンジニア。今年の秋に日本に来る予定 #summerDS

2016-07-25 19:11:56
Sho Shimauchi @shiumachi

ちなみに今回のイベントで皆さんが書いてくれたアンケートも @chezou が Jupyter notebook 使って集計して社内で見せてくれた。外部公開するかは知らないけど #summerDS

2016-07-25 19:13:09
Tatsuo Kawasαki @kernel023

オライリーの「Pythonによるデータ分析入門」は来年第2版が出るらしい #summerDS

2016-07-25 19:13:34
うさたーん @usaturn

pandas は全部メモリに載せてしまうのでイテレータでちょっとずつみたいな事が必要 #summerDS

2016-07-25 19:14:11
Tatsuo Kawasαki @kernel023

IbisはPythonとビッグデータをつなぐライブラリ。pandas作者のWesが開発しているでPythonとSQLエンジン(Impalaとか)を橋渡しする #summerDS

2016-07-25 19:15:40
Sho Shimauchi @shiumachi

pandasだとプログラマブルに書くにはオンメモリ一択だったけどIbisならプログラマブルに外部DBにクエリ投げれる!便利! #summerDS

2016-07-25 19:17:07
うさたーん @usaturn

Ibis は裏に Impala 等の SQL エンジンを置いてブログラマブルに処理ができる #summerDS

2016-07-25 19:17:13
しばたこ @uryyyyyyy

こういう可視化が簡単に出来るの良いですね #summerDS

2016-07-25 19:21:40
tomomoto @tomomoto_LV3

ibisは、RedShift対応予定らしい。(熱望) #summerDS

2016-07-25 19:24:02
Sho Shimauchi @shiumachi

IbisはRedshift や Presto、 PostgreSQL にも対応予定らしい #summerDS

2016-07-25 19:24:08
Tatsuo Kawasαki @kernel023

Ibisのデモ中。jupyterからIbisでImpala経由でMovielensのデータを処理。2000万件。sickit-learnで機械学習。 #summerDS

2016-07-25 19:24:59
しばたこ @uryyyyyyy

ibis inparaはsparkの7倍速いらしい。 #summerDS

2016-07-25 19:25:11
うさたーん @usaturn

Ibis が pyspark より優位な部分 設定が簡単 速い(裏の SQL エンジンの分) #summerDS

2016-07-25 19:25:24
Tatsuo Kawasαki @kernel023

裏でImpalaを使っていて結果が早く返ってくるからSparkの7倍くらい試行錯誤できるよ #summerDS

2016-07-25 19:26:09
1 ・・ 5 次へ

コメント

コメントがまだありません。感想を最初に伝えてみませんか?