データ基盤管理の考え方 〜dbtの極意〜 Lunch LT #data_findy

ヌん.uuidv7 @guen

#data_findy バクラクシリーズ導入したい 経理とかデータとかを業務でしている人

Sakatoku/子持ちデータエンジニア @AkSakatoku

データ階層がちゃんと定義されて組織内の共通意識になっていると色々嬉しいことがありそうだ… #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

Dockerだけ入っていれば動くdbt、たしかに練習にいいな #data_findy

kaori @usakoyama

dockerだけでローカル環境解決するのいいな #data_findy

mugu @mt_musyu

データ分析関係だと開発者体験を向上させようとした時に開発者≠エンジニアはとてもよくわかる。アナリストやPdMにも体験をよくすること考えないといけない #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

GCPミリ知ら勢だからImpersonation rolesを知らなかった #data_findy

wakoㅣFindy DevRel @wako00sa

LT3人目は 『dbt Cloudとdbt Core併用の試み 』 株式会社タイミー 土川 稔生(@tvtg_24) さん 資料はこちら👇 speakerdeck.com/ttccddtoki/dbt… #data_findy

くりた|データアナリスト @time2c0me

LayerX中山さんLT。階層設計だったりdockerの話/権限/docsだったりとスケーラブルかつ使いやすい基盤のヒントが多数。さすがや〜。 #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

モグラとシャチが連携するあるあるな構成 #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

加工処理が単純じゃない、すごい分かる… #data_findy

有馬三郎 CTO@セゾンテクノロジー iPaaS開発しています @SaburoA

LayerXさん dockerだけ入ってれば動くdbtというのは組織全体が技術志向だからできることだけど、素晴らしい #data_findy

wakoㅣFindy DevRel @wako00sa

LT4人目は 『Ubieのデータ品質の検査・維持・向上への取り組み』 Ubie株式会社 大木基至(@okiyuki99) さん 資料はこちら👇 speakerdeck.com/okiyuki99/2308… #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

データガバナンスの直球なテーマ！ #data_findy

たきも/Shinya Takimoto@10X @takimo

実は最近dbt Cloud APIの拡充があり、JOBとEnviromentあたりはAPI経由で操作できるようになっていたりします（まだ足りないところありそうだけど github.com/data-mie/dbt-c… #data_findy

くりた|データアナリスト @time2c0me

Timee土川さんLT。関係者が増えていく中で、如何にスケーラブルな基盤を作っていくかを時系列で語っていらっしゃった点がすごく参考になりましたー #data_findy

wakoㅣFindy DevRel @wako00sa

参考記事はこちら👇 「データ品質を支えるdbt test ~Ubieの事例を添えて~」 zenn.dev/okiyuki/articl… 「Ubie Tech Talk で、「2021/12/14 dbt 運用の7つの疑問と対策」という発表をしました。」 attsun1031.github.io/blog/20211214-… #data_findy

Tsuchikawa @tvtg_24

ご参加いただきありがとうございます! 先ほどの登壇資料こちらになります! speakerdeck.com/ttccddtoki/dbt… #data_findy

tenajima @tenajima

どういう基準でどういうテストを書くように定めているかとても気になります！ こういうモデルにはこういうテストを書かねばならない、などがあるのか開発者に委ねられるのか #data_findy

Shun Takagiwa @shun_tak

dbtはほんとに良いツールだよなあ。特にDataOps (DevOps) の導入という観点で、コード管理・レビューできるようになったり、実行の再現性担保、テストによる検証可能性の実現は非常に重要な要素。 #data_findy

くりた|データアナリスト @time2c0me

ユビー土川さんLT。Lightdash使ってらっしゃったり、test使いこなして品質管理していたりとdbt深く使いこんでいる印象(すみません存じ上げておらず)。Exposuresは管理者の明確化や棚卸しに使えるなど。デタマネが素晴らしいー。 #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

dbt testを活用している…すごい #data_findy

wakoㅣFindy DevRel @wako00sa

LT5人目は 『dbt Cloudで簡単に始めるデータパイプライン開発のススメ』 株式会社10X たきも/Shinya Takimoto(@takimo) さん 資料はこちら👇 speakerdeck.com/10xinc/tetaji-… #data_findy

Shun Takagiwa @shun_tak

dbtはチームトポロジーでいうEnablingの概念を導入する上でも重要で、階層構造やデータマートの定義・構築・運用しやすくなるし、スキーマ定義やメタデータと連動したdbt docsもできる。活用をやり切ることで認知負荷がどんどん下がっていく。みんながデータ活用にn参加できるようになる #data_findy

Sakatoku/子持ちデータエンジニア @AkSakatoku

技術選定についてのメッセージが誠実すぎる #data_findy

tenajima @tenajima

歴史的な経緯... #data_findy