2015/12/14 Workflow Hacks! #1 #workflowhacks
アメリカのデータサイエンティスト界隈ではPyhtonを知っていなきゃいけないといった空気がある。 #workflowhacks
2015-12-14 19:33:00これか… #workflowhacks / Python for Data Analysis - O'Reilly Media shop.oreilly.com/product/063692…
2015-12-14 19:33:19あら…こんなのやってるの…行きたかった(´;ω;`) #workflowhacks Workflow Hacks! #1 eventdots.jp/event/574963
2015-12-14 19:37:11この話題はなかなか難しくて、バルク処理はスループットを稼ぎやすい(稼ぐためにやる?)んだけど、最終的にはいつまでにきちんと終わっている的なレイテンシが問題になるし、逆にストリーム処理だと最終的にはスループットが問題意識を持たれやすい #workflowhacks
2015-12-14 19:44:27RDBが破綻する規模のデータ量、かなりすぐにやってくるんだけど、そこより上を裁ける人手が無いんだよなあ……。 #workflowhacks
2015-12-14 19:45:25中間データが肥大化する場合にシステムのスケーラビリティが足らなくなる(そしてそれが予想できない)のは、かなり問題。SQLの自動的な最適化によっても発生しうる。 #workflowhacks
2015-12-14 19:46:39FULL OUTER JOIN/CROSS JOINは辛い……。 #workflowhacks
2015-12-14 19:47:27分散JOIN自体は実装が難しいだけで、できることはかなり前から決まっている感じ。まぁ難しいのが問題なのだけども。そこで、できないことを、自然にやらせない仕組みが事前にないと厳しいんじゃ無いかなぁと思っていたり。 #workflowhacks
2015-12-14 19:49:31「2015/12/14 Workflow Hacks! #1 #workflowhacks」をトゥギャりました。 togetter.com/li/912716
2015-12-14 19:51:58