リクルートにおける大規模データ活用事例 Jupyter+BigQueryで分析基盤をDev&Opsする #pyconjp #pyconjp_201

SREエンジニアがJupyter+BigQueryでデータ分析基盤をDev&Opsする話 yuzutas0 @yuzutas0 Python(JupyterNotebook)とBigQueryを用いたモニタリング基盤・データ分析基盤の開発・運用について話します。 多様な部署・職種が関わる大企業において、どのような目的・用途・制約が与えられ、そのためにどのようなシステム・プロセスを採用したのか共有します。
1
ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

風音屋@Kazaneya_PR / 個人開発のWebサービスがGigazineに掲載。PyConJPやDevelopersSummitでベストスピーカーを受賞。日経産業新聞1面やForbesJapanに取材掲載。著書に『個人開発をはじめよう!』『実践的データ基盤への処方箋』『データマネジメントが30分でわかる本』など。

https://t.co/yhtAu6sbQ2


FJ @FJKei

#pyconjp_201 #PyconJP スライド150枚あるらしい。ガンバれ!

2017-09-09 16:16:09
ぎのしん @ginoshinkuu

最後のトークは「SREエンジニアがJupyter+BigQueryでデータ分析基盤をDev&Opsする話」を聴きます! #pyconjp_201 pic.twitter.com/OO66pbHsBi

2017-09-09 16:16:10
拡大
ひこずま @hikozuma

30分でスライド150枚以上のスピーチが今始まる・・・! #pyconjp_201

2017-09-09 16:16:38
ぎのしん @ginoshinkuu

データ分析基盤やDevOpsに興味があってきました #pyconjp_201

2017-09-09 16:17:25
Kiichi @Ki_chi

ゼクシィ恋結びのデータ分析基盤の話 #pyconjp_201

2017-09-09 16:18:34
Takanori Suzuki @BlueSkyDetector

#pyconjp でデバッガの話があったので、このツイートを思い出した。 twitter.com/BlueSkyDetecto…

2017-09-09 16:19:01
Takanori Suzuki @BlueSkyDetector

gdb7はPythonスクリプトのbacktraceをpy-btで取れる。Debianだとpython2.7-examplesなどのパッケージに入っているlibpython.pyを使う。あとpython2.7-dbgも必要。便利だ。 docs.python.org/devguide/gdb.h…

2016-01-07 00:13:19
くろにん @Kuronin773

30分150枚。単純計算1分5枚・・・ #pyconjp_201

2017-09-09 16:19:28
うさたーん @usaturn

米国のカップルは 3 人に 1 人がオンラインで成立してるらしい。ゼクシィ調べ? #PyConJP

2017-09-09 16:19:37
K̸̟̠͎͂͐Ĕ̷̳̣̌̈́Ÿ̴̡̆͝G̵͎̬͂͋̃͘E̷̡͙̳͍͐̄̃͒N̷̥̬͈͆ @otokuinformaton

「インターン生がいい感じにディープラーニングでやってくれた」って稀によく聞くけど全部同一人物だと思っている #pyconjp_201

2017-09-09 16:20:05
ひこずま @hikozuma

【悲報】ぼそぼそ話していて、よく聞こえない。 #pyconjp_201

2017-09-09 16:20:45
FJ @FJKei

#pyconjp_201 #PyconJP ゼクシィ恋結とかでデータ分析基盤を提供した話。

2017-09-09 16:21:11
K̸̟̠͎͂͐Ĕ̷̳̣̌̈́Ÿ̴̡̆͝G̵͎̬͂͋̃͘E̷̡͙̳͍͐̄̃͒N̷̥̬͈͆ @otokuinformaton

同じデータを分析しているはずなのに、部署ごとに「売上」がずれる #pyconjp_201

2017-09-09 16:22:33
K̸̟̠͎͂͐Ĕ̷̳̣̌̈́Ÿ̴̡̆͝G̵͎̬͂͋̃͘E̷̡͙̳͍͐̄̃͒N̷̥̬͈͆ @otokuinformaton

ずれた「売上」の調査依頼はなぜかエンジニアに飛んでくる そそそそそれな〜〜〜〜 #pyconjp_201

2017-09-09 16:23:05
うさたーん @usaturn

各部署ごとに生データくれればこっちでやっときますよ、が多層化していった結果売り上げがずれる事があると #pyconjp #pyconjp_201

2017-09-09 16:23:13
FJ @FJKei

#pyconjp_201 #PyconJP データ利用システムを部署ごとに広げていったら、システムが複雑になった上に部署毎に売上の数値がズレてしまった。あるある。

2017-09-09 16:23:36