Developers.IO 2019 Tokyo #cmdevio データ分析基盤、どう作る?システム設計のポイント、教えます #cmdevio7 @yokatsuki ツイートまとめ

データ Glue cmdevio redshift クラスメソッド データアナリティクス S3 データレイク bi cmdevio7
1
show@技術書典1日目あ10 @surumegohan
データアナリティクス事業本部は分析特化チームなのかな? #cmdevio #cmdevio7
k.miura@HITO-Link CRM @crmruketa
データ分析基盤あるある「スモールスタートで始めたい」w #cmdevio7
show@技術書典1日目あ10 @surumegohan
僕のあのVUIデータ分析基盤はお願いするとどの部署なんだろうか AWS事業部でも 事業開発部でも データアナリティクスでも 旧AIソリューション部でも どれにでも当てはまってるんだよな、、 #cmdevio #cmdevio7
oiz... (Journeyman)🍑と🥟/元B2Bマーケ兼PR/新刊DevRelQ&A発売中 @beajourneyman
ちなみにセッションは満員御礼で最後列にも椅子を設置している データ分析のミッションを社内外で追っている方が多いのかな #cmdevio #cmdevio7
show@技術書典1日目あ10 @surumegohan
S3にいれてアテナとクイックサイトじゃダメなのかな #cmdevio #cmdevio7
show@技術書典1日目あ10 @surumegohan
シンプルなデータ分析ならPublicでも良い セキュリティを考慮すると専用線かネット経由 VPNでいいかなー ダイレクトコネクトは費用すごいからなぁ #cmdevio #cmdevio7
show@技術書典1日目あ10 @surumegohan
テキスト表現、データの制度、JSONをCSVにしておく わかりみが非常にあるセッションだ、、 親近感がすごい、、 #cmdevio7
oiz... (Journeyman)🍑と🥟/元B2Bマーケ兼PR/新刊DevRelQ&A発売中 @beajourneyman
ふむふむ これなら、必ず必要になるデータ前処理がなくてもイケる、というコトになりそう #cmdevio #cmdevio7 pic.twitter.com/cnJJDAHQ7a
拡大
拡大
show@技術書典1日目あ10 @surumegohan
整然データ RDBの第一正規形のことを語ってるように感じる #cmdevio #cmdevio7
Matsuda @gununu1028
自治体が出すオープンデータを利用しづらい理由がわかった、整然データじゃないからだ #cmdevio7
k.miura@HITO-Link CRM @crmruketa
データをぶち込む時はとにかくS3!w #cmdevio7
show@技術書典1日目あ10 @surumegohan
まずはS3にデータを放り込むところからですよね Kinesisは重要だし、レッドシフトに逐次インサートは悪手すぎるw #cmdevio #cmdevio7
k.miura@HITO-Link CRM @crmruketa
データレイクはレイクなので、澄んでなきゃいけない、データスワンプ(沼)はダメ(笑) #cmdevio7
show@技術書典1日目あ10 @surumegohan
飛んできた生データと、分析用に整形したデータをどちらもS3にいれるかなー Glueの不具合直ったのかな、、 Lake Formation詳しく知りたい #cmdevio #cmdevio7
残りを読む(16)

コメント

Yosuke Katsuki @yokatsuki 2019年11月6日
まとめありがとうございます!
ログインして広告を非表示にする
ログインして広告を非表示にする