Developers.IO 2019 Tokyo #cmdevio データ分析基盤、どう作る？システム設計のポイント、教えます #cmdevio7 @yokatsuki ツイートまとめ
-
beajourneyman
- 1654
- 6
- 0
- 0
-
- いいね！0
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
続いて @yokatsuki データ分析基盤 #cmdevio #cmdevio7 pic.twitter.com/aN9XktmK1r
2019-11-01 15:49:02
拡大
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
スモールスタートで始めたい ほぼすべてのクライアントが言う #cmdevio #cmdevio7
2019-11-01 15:49:40
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
@yokatsuki 別名「日本で一番 #RedShift を売っている男」 #cmdevio #cmdevio7
2019-11-01 15:51:28
show
@surumegohan
僕のあのVUIデータ分析基盤はお願いするとどの部署なんだろうか AWS事業部でも 事業開発部でも データアナリティクスでも 旧AIソリューション部でも どれにでも当てはまってるんだよな、、 #cmdevio #cmdevio7
2019-11-01 15:52:16
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
ちなみにセッションは満員御礼で最後列にも椅子を設置している データ分析のミッションを社内外で追っている方が多いのかな #cmdevio #cmdevio7
2019-11-01 15:53:18
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
データ分析基盤 最小構成の例 #cmdevio #cmdevio7 pic.twitter.com/gsIPPFKoUg
2019-11-01 15:55:34
拡大
show
@surumegohan
シンプルなデータ分析ならPublicでも良い セキュリティを考慮すると専用線かネット経由 VPNでいいかなー ダイレクトコネクトは費用すごいからなぁ #cmdevio #cmdevio7
2019-11-01 15:57:25
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
@surumegohan クライアントさんが持っているBIで見たい要件多いですね #cmdevio #cmdevio7
2019-11-01 15:57:39
show
@surumegohan
テキスト表現、データの制度、JSONをCSVにしておく わかりみが非常にあるセッションだ、、 親近感がすごい、、 #cmdevio7
2019-11-01 16:02:58
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
ふむふむ これなら、必ず必要になるデータ前処理がなくてもイケる、というコトになりそう #cmdevio #cmdevio7 pic.twitter.com/cnJJDAHQ7a
2019-11-01 16:06:34
拡大
拡大
show
@surumegohan
まずはS3にデータを放り込むところからですよね Kinesisは重要だし、レッドシフトに逐次インサートは悪手すぎるw #cmdevio #cmdevio7
2019-11-01 16:10:18
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
さて、どうやってAWSに入れる？ #cmdevio #cmdevio7 pic.twitter.com/JBRnRf5SeW
2019-11-01 16:10:48
拡大
show
@surumegohan
飛んできた生データと、分析用に整形したデータをどちらもS3にいれるかなー Glueの不具合直ったのかな、、 Lake Formation詳しく知りたい #cmdevio #cmdevio7
2019-11-01 16:13:37