◾️はじめに https://dk521123.hatenablog.com/entry/2023/12/04/000000 の続き。 dbt の materialized='incremental'で、 個人的に少し学びがあったので、メモしておく 目次 【１】やりたいこと 補足：DELETE＋INSERTに関して 【２】サンプル 補足：実際には…

◾️はじめに 小ネタ。 dbtマクロ load_relation() について扱う 目次 【１】load_relation() １）Relation object 【２】サンプル 【３】使用例 【１】load_relation() https://docs.getdbt.com/reference/dbt-jinja-functions/adapter#load_relation * テー…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/05/26/132317 の続き。 dbtのsnapshot機能の座学はわかったので 今回は、dbt snapshotコマンドを実行して Hello world的なことをやってみる 目次 【１】前提条件 １）開発環境 【２】Hello world ０…

◾️はじめに 病院の待ち時間で、暇だったので 前から気になっていた「dbt snapshot」について調べていたら、 自分がイメージしている機能とは違っていた。 また、結構知らないこと（例えば、SCD(Slowly Change Dimensions)など） があったので、メモしておく …

◾️はじめに 小ネタ。 前から気になっていた dbt の「+ prefix (e.g. +materialized)」 について、メモっておく 目次 【１】+ prefix 【２】目的１：設定とリソースパスを明確するため １）補足：必須ではなく推奨レベル 【３】目的２：辞書型入力時 例１： p…

◾️はじめに 今回は、dbt の config について扱う 目次 【１】config １）profiles.yml との住み分け 【２】configの設定方法 １）config() での設定 ２）models/properties.yml での設定 ３）dbt_project.yml での設定 【３】configの設定内容 １）Snowflake…

◾️はじめに dbt の target について取り扱う 目次 【１】target １）Common ２）Snowflake ３）Postgres/Redshift 【２】profiles.yml との関係 １）サンプル 【３】サンプル 例１：config.enabled + target.type でDBごとで切り替える 【１】target * ウェ…

◾️はじめに dbtの変数 var についてトラブルがあって 調べてみたのでまとめておく。 その中で、env_var()ってのも知ったので ついでにメモっておく 目次 【１】変数 - var() １）参照方法 ２）設定方法１ - dbt_project.ymlで設定 ３）設定方法２ - コマンド…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt run-operation」コマンドをメモる。 目次 【１】dbt run-operation １）構文 【２】オプション １）--args ARGS ２）--print / --no-print ３）-q, --qu…

◾️はじめに 今回は、dbt Model / Macro内でSQL実行するための関数「run_query」 およびその周辺で使うTipsなどなどについてメモっておく 目次 【１】run_query関数 【２】set関数 設定方法１：set xxx="xxx" 設定方法２：set xxx ... endset 【３】execute変…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt show」コマンドをメモる。 目次 【１】dbt show 【２】オプション １）--inline ２）--limit n 【１】dbt show * 指定したModelや任意のSELECT文の出力…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/20/034930 の続き。 Python の dbtRunner を使った簡単なサンプルを作ってみる 目次 【１】前準備 １）SQL 【２】INSERT １）SQL ２）Pythonコード 【３】SELECT １）Pythonコード 【１】前準備 *…

◾️はじめに 現在扱っているテーブル一覧が欲しいってニーズがあり、 dbt model から取得しようとしたら、 dbt list / dot lsコマンドから取得できることが分かったので 調べてみた 目次 【０】何に使える？ 【１】dbt list / dbt ls 【２】オプション １）--…

■ はじめに 小ネタ。 dbt CLI の --emptyフラグ についてメモっておく 目次 【１】--emptyフラグ 【２】使用上の注意 【３】使いどころ 【４】--emptyあれこれ １）使用例 ２）--emptyかどうかの判断 【１】--emptyフラグ * --emptyフラグを付与することによ…

■ はじめに dbt の version 更新するって話もあるので dbt の version更新についてメモっておく 最近になって dbt v1.9 がリリースされてる だけど、Dec 9, 2024にリリースして Dec 8, 2025で サポートキレるって1年間だけってきついな、、、 目次 【１】dbt…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/29/003751 の続き。 DBT の Macro 作ったので、実用的な例をメモしておく 目次 【１】macro の引数 １）デフォルト引数 【２】例外 １）例外をスローする 【３】コメント文 【４】デバッグログ機…

■ はじめに dbt の ドキュメント化（データリネージ機能）を使うために ローカル環境を整備してたら、docker 環境があれば pip よりも簡単に使えることが分かったのでメモしておく 公式ドキュメントより https://docs.getdbt.com/docs/core/installation-ove…

■ はじめに dbt で、直接指定する以外で、 DB / Schema / Table を指定する方法を取り上げる。 直接指定するよりも、 ローカル・開発・本番環境などで変更する場合に 役立つこともあるので。 目次 【１】DB / Schema を指定する方法 １）profiles.yml で指定…

■ はじめに dbt を解析しなくてはならず、その中で if文で分岐している箇所があったので それに付随するTipsなどをまとめておく 目次 【１】if文 １）構文 ２）演算子 【２】関連するDBTマクロ １）is_incremental() ２）load_relation ３）run_query() 【３…

■ はじめに 動的なdbt 実行時でのトラブルシュートを徐々に記録しておく 目次 【１】Airflow + dbt でエラー「Task exited with return code -9」 【２】エラー「'>' not supported between instances of 'Table' and 'int'」 【３】エラー「Model XXX depen…

■ はじめに dbt の rows_affected を1日中調査してたので 徐々に纏めておく。 目次 【１】rows_affected 【２】Snowflake におけるrows_affected ２）トラブル：CREATE TABLE ... AS SELECT の場合、rows_affected=1を返す 【１】rows_affected * 実行された…

■ はじめに dbt で Snowflake の テーブルを扱うことになり Transientテーブルを永続テーブルに切り替える必要ができたので 調査してみた なお、Transient テーブルなどのSnowflakeのテーブルについて 以下の関連記事を参照のこと Snowflake ～ 基本編 / テ…

■ はじめに デバッグするために dbt の SQL文を確認する必要ができたので 予習しておく 目次 【１】準備：環境設定 １）DB：PostgreSQL ２）DBTおよびDBTプロジェクト作成 【２】SQL文確認方法 １）Log Level（--log-level debug） ２）SQLファイル出力先 ta…

■ はじめに https://dk521123.hatenablog.com/entry/2024/08/23/012045 で、dbt version を v1.7 -> v1.8 に アップグレードした時に トラブルが発生したので、そのトラブルシュートをメモっておく なお、トラブルに関しては、以下の公式のIssueで既に挙げら…

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/29/003751 の続き。 小ネタ。 DBTにおいて、各DWH（DB）により、処理を切り替える方法を記載する 目次 【１】adapter object １）dispach メソッド 【２】サンプル 例１：Hello world 【１】adapt…

■ はじめに https://dk521123.hatenablog.com/entry/2024/07/20/034930 で、 dbt の run とか show とか使ったが dbt CLI （dbt コマンド）として改めてまとめておいた方がよさそうなので 徐々にではあるが、まとめていく。 目次 【１】dbt CLI １）環境設定…

■ はじめに Python から dbt を使う必要がでてきたので、メモ。 目次 【１】環境設定 【２】dbt の Python モジュール １）dbtRunner ２）dbtRunnerResult 【３】補足１：tags 【１】環境設定 * 今回は、以下の構成で行う Items Values Memo OS Windows11 DB…

■ はじめに https://dk521123.hatenablog.com/entry/2024/02/28/225002 の続き。 SQL の Linter (リンター) で「SQLFluff」がでてくるが、 どうも「sqlfmt」と併用して使うことも多いみたいなので 調べてみた。 目次 【１】sqlfmt 【２】環境構築 【３】Lint…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Delete and Insert について、深堀っていく 目次 【１】構文 【２】サンプル 【３】補足：処理フロー １）実際のログ 【１】構文 * delete and Insert に関しては、以…

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Update or Insert （Upsert）について、深堀っていく ついでに、普通の Insert も載せておく。 目次 【１】構文 【２】incremental_strategy １）incremental_strateg…