【tagomoris→bash0C7→naoya_ito】秋のデブサミ2015『データを巡るテクノロジーの冒険』基調講演3連発! #devsumi
トレジャーデータ株式会社 田籠 聡
Today's my slide #devsumi / “Data-Driven Development Era and Its Technologies” htn.to/jdoKYo
2015-10-14 10:29:59トレジャーデータでは1日3兆件のデータを処理している #devsumi
2015-10-14 10:02:15基調講演第一弾はトレジャーデータ@tagomoris さんのセッション #devsumi
2015-10-14 10:03:38フルマネージドなサービス Treasure DataやBigQuery 金がかかるが運用は考えなくていい。セルフサービス型 Redshiftなどはless effort less cost。自前で構築するのは大変。開発者にはサービス活用がオススメ #devsumi
2015-10-14 10:07:40データ処理基盤を自前で作ろうとすると、スモールスタートが難しい、ハイスキルなエンジニアが少なく、ハイアリングできない。#devsumi
2015-10-14 10:09:37まずデータの収集と蓄積を優先すべきだ。開発を第一に考えるなら、サービスを使ってしまった方が手っ取り早い(宣伝じゃなくてマジで) #devsumi
2015-10-14 10:11:22データを集めて何が欲しいのか?レポート?分析?レコメンド?欲しいアウトプットが何かをまず考える #devsumi
2015-10-14 10:12:45そのためにはどんなタイプのデータを集めるべきか?アクセスログか、センサーデータか? #devsumi
2015-10-14 10:13:32やっぱりデブサミが気になり、本屋業をお休みして3階へ。田籠さん、滑舌とリズムがイイですね〜。「銀の弾丸はない」キャーキャー(ミーハー) #devsumi pic.twitter.com/Bt9RlJAljO
2015-10-14 10:13:34巨大バッチ系 小さいバッチ&機械学習 巨大データ ストリームデータ処理 などいろいろあるが今回は割愛。いろいろ基盤ソフトはあるが全部分析系、しかしそれはデータ処理フローの中でほんの一部 #devsumi
2015-10-14 10:15:25ストレージ(S3とか)、ビジュアライゼーション(タブローとか)、またレアだが分散キュー(Amazon Kinesisとか)など、重要なトピックは多い #devsumi
2015-10-14 10:18:10用途や処理の特性によって何を組み合わせるべきかは大きく変わる。 #devsumi
2015-10-14 10:18:58ツールの知識は大事だが、それにとらわれてはいけない。本当に大事なのは、データで何をするかだ。 #devsumi
2015-10-14 10:19:31