【dbt】dbt ~ 基礎知識編 ~

■ はじめに

dbt の良さとか、何ができるかってのを徐々にだがメモしていく

目次

【1】dbt
【2】サポートデータプラットフォーム
【3】利点
 1)環境の切替が容易
 2)シンプルな実装が可能
 3)ドキュメント生成
 4)テストの自動化
【4】動画

【1】dbt

* dbt = data build tool
* ELT(抽出, 変換, 格納)の Transform(変換)を担うツール

【2】サポートデータプラットフォーム

* 主要なDWHは、網羅されているといっていいかも。

https://docs.getdbt.com/docs/supported-data-platforms

* Snowflake
* PostgreSQL
* Redshift
* Spark
* Databricks
etc...

【3】利点

1)環境の切替が容易
2)シンプルな実装が可能
3)ドキュメント生成
4)テストの自動化
などなど

1)環境の切替が容易

* 以下の環境について、YAMLの設定ファイルで切替が容易
 + Dev/Stage/Prodなどの環境単位 ... .dbt/profiles.yml
 + Database/Schema 単位 ... models\[MODEL_NAME]\scheme.yml

2)シンプルな実装が可能

* CTE(WIHT句)により、ネストの少ないスクリプトを実装可能
* マクロ機能や変数により、共通部品化することにより
 DRY(Don't Repeat yourself)原則に当てはめることが可能

3)ドキュメント生成

* モデルやフィールドの説明を記載
* モデルの依存関係を図で可視化が可能

4)テストの自動化

* 「dbt test」により(今までになかった)
 SQLの自動テストが可能

【4】動画

* 公式

https://courses.getdbt.com/collections/beginner

参考文献

https://dev.classmethod.jp/articles/dbt-overview-2023/
https://engineer.retty.me/entry/2022/09/14/172635
https://www.flywheel.jp/topics/what_is_dbt/
https://zenn.dev/dbt_tokyo/books/537de43829f3a0/viewer/what_dbt

関連記事

dbt ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/05/30/151003
dbt ~ 環境設定編 ~
https://dk521123.hatenablog.com/entry/2023/12/16/152147
dbt ~ 基本編 / Model ~
https://dk521123.hatenablog.com/entry/2023/11/25/231128
dbt ~ Model あれこれ ~
https://dk521123.hatenablog.com/entry/2023/11/26/224522
dbt ~ 基本編 / Source ~
https://dk521123.hatenablog.com/entry/2023/12/08/111012
dbt ~ 基本編 / Seed ~
https://dk521123.hatenablog.com/entry/2023/11/20/230946
dbt ~ Macro ~
https://dk521123.hatenablog.com/entry/2023/11/29/003751
dbt ~ Hooks ~
https://dk521123.hatenablog.com/entry/2023/12/11/040122
dbt ~ aliases ~
https://dk521123.hatenablog.com/entry/2023/12/13/031018
dbt ~ 更新 / 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2023/12/07/060129
dbt ~ 更新 / Update or Insert ~
https://dk521123.hatenablog.com/entry/2023/12/19/224453
dbt ~ 更新 / Delete and Insert ~
https://dk521123.hatenablog.com/entry/2023/12/20/000104
dbt ~ 更新 / DROP + CTAS ~
https://dk521123.hatenablog.com/entry/2023/12/04/000000
dbt ~ ドキュメント化 / dbt docs ~
https://dk521123.hatenablog.com/entry/2023/12/10/125512
dbt に関するトラブル
https://dk521123.hatenablog.com/entry/2023/06/19/000000