Developers.IO 2019 Tokyo #cmdevio Effective DataLake 〜基礎からわかるデータレイクの定義と実践〜 #cmdevio7 ツイートまとめ
-
beajourneyman
- 838
- 2
- 0
- 0
-
- いいね！0
show
@surumegohan
クラスメソッドテクニカルライブラリーとやらがあるらしい これ欲しいな #cmdevio #Classmethod #cmdevio7
2019-11-01 17:47:46
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
本日最後のセッションは石川さんのデータレイク #cmdevio #cmdevio7 pic.twitter.com/PeMgywnN1h
2019-11-01 17:48:49
拡大
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
今日は @surumegohan とセッション志向がそっくり #cmdevio #cmdevio7
2019-11-01 17:49:37
show
@surumegohan
DHWとDatalakeは敵対関係ではない 今後はDWHとDatalakeの併用になる ほんとこれ #cmdevio #Classmethod #cmdevio7
2019-11-01 17:49:56
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
これまでのDWHとこれからのデータレイク、境界線は曖昧になっていく（置き換わる訳ではない #cmdevio #cmdevio7
2019-11-01 17:51:19
show
@surumegohan
S3にデータをそのままいれて、最終的にSQLで実行 僕もこのイメージ ただ、データ整形ができるならできるだけ事前にやる #cmdevio #Classmethod #cmdevio7
2019-11-01 17:53:02
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
石川さんの考える「AWSにおけるデートレイクとは？」 #cmdevio #cmdevio7 pic.twitter.com/M5jME52M1H
2019-11-01 17:53:29
拡大
show
@surumegohan
Glueについてここまで詳しいセッションって他でみたことないので助かる #cmdevio #Classmethod #cmdevio7
2019-11-01 17:58:57
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
ふむふむ、これはありがたい #AWSGlue #cmdevio #cmdevio7 pic.twitter.com/98uV3U5jc1
2019-11-01 18:00:35
拡大
拡大
show
@surumegohan
Athenaはサーバレスだし安いんだけど、データの保持の状況によってはめっちゃ遅いんだよな・・・ #cmdevio #Classmethod #cmdevio7
2019-11-01 18:05:11
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
AthenaとSpectrumの相違点の解説とそれぞれのアーキテクチャ #cmdevio #cmdevio7 pic.twitter.com/tB6iG5cG4S
2019-11-01 18:07:10
拡大
拡大
拡大
show
@surumegohan
このセッション、データ関連の仕事したことある人にはめっちゃ刺さるけど、そうでもない人だと何言ってるのかわからないんだろうなぁ 僕にはご褒美です 特にGlue ありがとうございます ありがとうございます #cmdevio #Classmethod #cmdevio7
2019-11-01 18:09:18
show
@surumegohan
やっぱデータ圧縮、カラムナフォーマット、パーティションはほぼほぼ必須だよなぁ サイズの不揃いは案件次第だなぁ 日時でS3内で分割してたとしても週末はデータ少ないとかある #cmdevio #Classmethod #cmdevio7
2019-11-01 18:10:56
show
@surumegohan
データ分析するときは、集計に必要なカラムは実際少ないからなぁ #cmdevio #Classmethod #cmdevio7
2019-11-01 18:12:41
show
@surumegohan
Parquetフォーマットにすると、早くて安い けど、フォーマット変換にお金とられた気がする 僕の勘違いかな？ #cmdevio #Classmethod #cmdevio7
2019-11-01 18:14:34
show
@surumegohan
たしかにデータ量が少なすぎると、むしろ遅かったりパフォーマンス悪くなる 10MBらへんか なるほど #cmdevio #Classmethod #cmdevio7
2019-11-01 18:15:55
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
パフォーマンス増加とコスト削減のキーワード ・圧縮 ・カラムナ(列指向)フォーマット ・サイズは均等 ・パーティショニング #cmdevio #cmdevio7
2019-11-01 18:16:17
oiz... (Journeyman)🍑と🥟/ 元B2Bマーケ兼PR/tgまとめ/🎥ライブ配信
@beajourneyman
それらの関係性 #cmdevio #cmdevio7 pic.twitter.com/1Bl6WNtTaX
2019-11-01 18:17:37
拡大
show
@surumegohan
Spark使い倒すくらいの大きなデータになると検証結構大変なんだよね #cmdevio #Classmethod #cmdevio7
2019-11-01 18:18:30
show
@surumegohan
RedShiftのデータをAthenaにいれるツールがOSSであるんか #cmdevio #Classmethod #cmdevio7
2019-11-01 18:19:31