Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」ツイートまとめ
-
wakame1367
- 3732
- 5
- 0
- 0
-
- いいね！0
えさ
@0610Esa
レガシーなデータ基盤の脱却のために、その環境に依存している業務を理解しKPIを見直したことで対応した話。すごく共感。 #DataEngineeringStudy
2020-08-19 21:25:09
Geforce RTX 3060Ti
@showyou
#DataEngineeringStudy 先程初学者が始めるにはどうすればって言う話がありましたが、「AWSではじめるデータレイク」を読むと構築の役に経ちますね。運用の知識は別途必要 (アフィリンク: amzn.to/2Q5CL8n )
2020-08-19 21:25:11
ゆずたそ / Sho Yokoyama (風音屋)
@yuzutas0
メル社のデータパイプラインを複雑化させたクソ野郎の奮闘記です。ご査収ください。 #DataEngineeringStudy twitter.com/yuzutas0/statu…
2020-08-19 21:25:44
ゆずたそ@風音屋
@yuzutas0
本日の資料です / Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering speakerdeck.com/yuzutas0/20190…
2019-07-19 13:18:54
すえ
@sue1242
レガシーパイプラインでやってることを新パイプラインで再現するのは難しいので、レガシーパイプラインのデータをなぜ必要か整理して、新パイプラインのデータで業務ができる目処をつけた話。 #DataEngineeringStudy
2020-08-19 21:26:30
かず
@curanosuke
基盤と業務は一体で考える。 利用状況をデータで示すのもいいよね。 #DataEngineeringStudy pic.twitter.com/UAaSbeodsa
2020-08-19 21:27:08
拡大
拡大
拡大
Hirokazu Kobayashi / hiro-koba
@hiro_koba_jp
#DataEngineeringStudy 1つの指標をとっても、「キャンセル料を含むか否か」で定義が異なり、値も変わってしまう。データ整備の重要さのわかりやすい例ですね。
2020-08-19 21:27:20
fetaro
@fetarodc
メルカリの分析基盤において、人気のないテーブルとあるテーブルでは100倍の利用量の差がある！ そうだよね。そうなるよね。 #DataEngineeringStudy
2020-08-19 21:27:58
fishb
@dampenedkid
やっぱり、どのテーブルが使われてるのかログは確認しないとダメよね… これ、次期データ構築基盤作成の際はなんとかして欲しいなぁ #DataEngineeringStudy
2020-08-19 21:28:31「メルカリにおける分析環境整備の取り組み」質疑応答
赤川 朗 / Forkwell
@Akira_Akagawa
レガシーなものを廃止しようとすることで、本当に必要とされているものが何かわかる良さがある #DataEngineeringStudy
2020-08-19 21:32:16
小川雄太郎
@ogawa_yutaro_22
Data Engineering Study #2 「データ収集基盤とデータ整備のこれまでとこれから」 forkwell.connpass.com/event/182769/ 当日動画が準備されましたね。 （なんか最初の方少し切れて、微妙に途中からはじまっている？） （動画はこちら） youtube.com/watch?v=eEhwBI… #DataEngineeringStudy
2020-08-19 22:27:29アフタートーク
glires(ぐりさん)
@rodents18
素晴らしいイベントでありがたかったです✨ 次回も参加申込みしました^ - ^ ご登壇者様、運営者様、Twitterやslidoで盛り上がった皆様、どうもありがとうございました！ #DataEngineeringStudy
2020-08-19 21:57:55
やっさん🍶
@yassan168
#DataEngineeringStudy 配信も安定しているし、聴きやすくて良かったです。 今回も面白かった。次回も楽しみです。 運営の皆さん登壇者の皆さん、ありがとうございました。
2020-08-19 21:58:29
おむろん
@omuron
はてなブログに投稿しました #はてなブログ 「Data Engineering Study #2 データ収集基盤とデータ整備のこれまでとこれから」 #DataEngineeringStudy 受講メモ - omuronの備忘録 omuron.hateblo.jp/entry/2020/08/…
2020-08-19 22:00:11