Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」ツイートまとめ

Journeyman(ジャニ)🍑🥟 03/02(土) #JAWSDAYS2024 E-1登壇🦈 @beajourneyman

#DataEngineeringStudy 次回は @tamaki0506 ♪ pic.twitter.com/WVnH9lJ0FT

拡大

ｷｳﾞｨﾀｽﾎﾟ(人工知能) @Civitaspo

今回は2次会ないのかな。前回に比べて詳細に踏み入った内容だったから色んな人と話してみたかったのだけれど… #DataEngineeringStudy

Kenta Sato (サトケン) @kenta_sato3

所感にめっちゃ共感しました。 > エンジニアの自己満足でシステムを作るのではなく、使うユーザーとコミュニケーションをとって改善を続けることが大事なのは、データ収集基盤に限った話ではないですね。 > 作ったけど使われないシステムは悲しいですしね。 #DataEngineeringStudy twitter.com/omuron/status/…

おむろん @omuron

はてなブログに投稿しました #はてなブログ 「Data Engineering Study #2 データ収集基盤とデータ整備のこれまでとこれから」 #DataEngineeringStudy 受講メモ - omuronの備忘録 omuron.hateblo.jp/entry/2020/08/…

2020-08-19 22:00:11

赤川 朗 / Forkwell @Akira_Akagawa

登壇者による二次会トークより抜粋「データエンジニアになって、超緊急の障害対応がなくなり、深夜早朝に起こされることがなくなったのが幸せ」 #DataEngineeringStudy

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

データ抽出・集計の依頼対応で手一杯なんですよ〜、データ整備って辛いですよね〜、というかたに向けた資料です。ご査収ください。 #DataEngineeringStudy speakerdeck.com/yuzutas0/20180…

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

指標・数字のズレを1つ1つ地道に直しつつ、ExcelからBigQueryへとデータ基盤を置き換えたときの奮闘記です。ご査収ください。 #DataEngineeringStudy atmarkit.co.jp/ait/series/972…

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

元データが変わってデータ基盤が壊れる問題については speakerdeck.com/yuzutas0/20190… どのデータが利用されているのかについては speakerdeck.com/yuzutas0/20190… をご査収ください。 #DataEngineeringStudy BigQueryのauditlogについてはこちらもご査収ください。 yuzutas0.hatenablog.com/entry/2018/12/…

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

メル社のデータパイプラインを複雑化させたクソ野郎の奮闘記です。ご査収ください。 #DataEngineeringStudy twitter.com/yuzutas0/statu…

ゆずたそ@風音屋 @yuzutas0

本日の資料です / Cloud Composer & Dataflow によるバッチETLの再構築 #data_ml_engineering speakerdeck.com/yuzutas0/20190…

2019-07-19 13:18:54

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

新規事業を立ち上げたときのデータ基盤設計についての記事です。ご査収ください。 #DataEngineeringStudy yuzutas0.hatenablog.com/entry/2018/12/…

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

データレイクは分かりやすいけど、データウェアハウスとデータマートがよく分からない、という人に向けての資料がこちらになります。ご査収ください。 #DataEngineeringStudy twitter.com/yuzutas0/statu…

ゆずたそ@風音屋 @yuzutas0

本日の資料です / データレイク構築後の四方山話 #DPM speakerdeck.com/yuzutas0/20190…

2019-09-06 00:27:19

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

データレイク・データウェアハウス・データマートは「データ基盤の3分類と進化的データモデリング」というタイトルで紹介したものですが、重要なのは3分類ではなく進化的データモデリングだってことが伝わっていなくてオコです。 #DataEngineeringStudy yuzutas0.hatenablog.com/entry/2018/12/…

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

「データ整備をやっていくぞ！」という初学者向けの書籍です。ご査収ください。 #DataEngineeringStudy twitter.com/yuzutas0/statu…

ゆずたそ@風音屋 @yuzutas0

『データマネジメントが30分でわかる本』をKindleで販売開始しました！データ活用に関わる方々はぜひお買い求めいただければと思います！ amazon.co.jp/dp/B085W4YSZJ/

2020-03-14 07:24:01

ゆずたそ / Sho Yokoyama (風音屋) @yuzutas0

データ基盤担当者の目標設定や人事評価をどうしようかなというひとに向けた記事です。ご査収ください。 #DataEngineeringStudy yuzutas0.hatenablog.com/entry/2019/12/…