■ はじめに
dbt の良さとか、何ができるかってのを徐々にだがメモしていく
目次
【1】dbt 【2】サポートデータプラットフォーム 【3】利点 1)環境の切替が容易 2)シンプルな実装が可能 3)ドキュメント生成 4)テストの自動化 【4】動画
【1】dbt
* dbt = data build tool * ELT(抽出, 変換, 格納)の Transform(変換)を担うツール
【2】サポートデータプラットフォーム
* 主要なDWHは、網羅されているといっていいかも。
https://docs.getdbt.com/docs/supported-data-platforms
* Snowflake * PostgreSQL * Redshift * Spark * Databricks etc...
【3】利点
1)環境の切替が容易 2)シンプルな実装が可能 3)ドキュメント生成 4)テストの自動化 などなど
1)環境の切替が容易
* 以下の環境について、YAMLの設定ファイルで切替が容易 + Dev/Stage/Prodなどの環境単位 ... .dbt/profiles.yml + Database/Schema 単位 ... models\[MODEL_NAME]\scheme.yml
2)シンプルな実装が可能
* CTE(WIHT句)により、ネストの少ないスクリプトを実装可能 * マクロ機能や変数により、共通部品化することにより DRY(Don't Repeat yourself)原則に当てはめることが可能
3)ドキュメント生成
* モデルやフィールドの説明を記載 * モデルの依存関係を図で可視化が可能
4)テストの自動化
* 「dbt test」により(今までになかった) SQLの自動テストが可能
【4】動画
* 公式
https://courses.getdbt.com/collections/beginner
参考文献
https://dev.classmethod.jp/articles/dbt-overview-2023/
https://engineer.retty.me/entry/2022/09/14/172635
https://www.flywheel.jp/topics/what_is_dbt/
https://zenn.dev/dbt_tokyo/books/537de43829f3a0/viewer/what_dbt
関連記事
dbt ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/05/30/151003
dbt ~ 基本編 / Seed ~
https://dk521123.hatenablog.com/entry/2023/11/20/230946
dbt ~ 基本編 / Model ~
https://dk521123.hatenablog.com/entry/2023/11/25/231128
dbt ~ Model あれこれ ~
https://dk521123.hatenablog.com/entry/2023/11/26/224522
dbt ~ Macro ~
https://dk521123.hatenablog.com/entry/2023/11/29/003751
dbt ~ Hooks ~
https://dk521123.hatenablog.com/entry/2023/12/11/040122
dbt ~ materialized / 更新あれこれ ~
https://dk521123.hatenablog.com/entry/2023/12/07/060129
dbt ~ ドキュメント化 / dbt docs ~
https://dk521123.hatenablog.com/entry/2023/12/10/125512
dbt に関するトラブル
https://dk521123.hatenablog.com/entry/2023/06/19/000000