Developers.IO 2019 Tokyo #cmdevio データ分析基盤、どう作る？システム設計のポイント、教えます #cmdevio7 @yokatsuki ツイートまとめ
-
beajourneyman
- 1659
- 6
- 0
- 0
-
- いいね！0
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
S3にどんどん溜め込んで必要になるのは「データカタログ」 AWS Glue のクローラで構造解析、カタログ化が可能 #cmdevio #cmdevio7
2019-11-01 16:15:24
show
@surumegohan
S3のデータはイベントベースで使うかなー Parquest方式にするととても良い けど変換処理を任せるとお金とられた気がする #cmdevio #cmdevio7
2019-11-01 16:17:15
show
@surumegohan
フォルダで階層分けはしないと、むしろしんどい パーティション使えないとしんどいし、たいてい時間か日付で分けるかな #cmdevio #Classmethod #cmdevio7
2019-11-01 16:19:42
show
@surumegohan
DHWの本命はRedShiftだよなぁ RedShift Spectrumは使いこなせてないな JOINはPostgreSQLの方がいい MySQLでテーブル結合するとよろしくない #cmdevio #Classmethod #cmdevio7
2019-11-01 16:21:47
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
イベントドリブンで確実に処理するためにキューに。処理が重いときは、Lambdaでなく AWS Glue で対応 #cmdevio #cmdevio7 pic.twitter.com/jjfAFkW5a1
2019-11-01 16:22:27
拡大
bottom27
@amkmpp
データレイク系の話は割とアーキ決まってるのかな。発表内容がここのハンズオン資料のアーキと結構かぶる部分があるので参考になる。 github.com/aws-samples/am… #cmdevio #cmdevio7
2019-11-01 16:22:58
show
@surumegohan
RedShiftにデータをロードするのはFirehose使うよね COPYコマンドでやってもいいんだけどFirehoseだとRedShiftに直に入れられるから楽なんだよな #cmdevio #Classmethod #cmdevio7
2019-11-01 16:24:05
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
ETL か ELT かはあるなぁ #cmdevio #cmdevio7 pic.twitter.com/JgWHTIwO5W
2019-11-01 16:26:17
拡大
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
ユーザ管理… AD連携するとスモールスタートは破綻 シンプルにBIツールの側の管理に寄せる。データの出し分けも簡単。 #cmdevio #cmdevio7
2019-11-01 16:28:24
k.miu
@crmruketa
｢人はなぜBIツールをCSVダウンロードツールにしてしまうのか｣www データ分析機能提供するなら、そこ上で顧客の求めることが完結できなきゃいけないよね、っていう #cmdevio7
2019-11-01 16:28:49
bottom27
@amkmpp
「性能はやってみないと分からない」これを強くいってくれるのありがたい。今後は分かんないって自信を持って言える。 #cmdevio7 #cmdevio
2019-11-01 16:30:16
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
受託開発にはやっぱり向かない #cmdevio #cmdevio7
2019-11-01 16:31:22
show
@surumegohan
性能はほんとやってみないとわからない セキュリティはAWSに任せられるられるならそうする 『いい感じに作って』は受諾できない そりゃそうだ #cmdevio #cmdevio7
2019-11-01 16:31:34