◾️はじめに

今回は、dbt Model / Macro内でSQL実行するための関数「run_query」
およびその周辺で使うTipsなどなどについてメモっておく

【１】run_query関数

* マクロ内からSQL実行するための関数

https://docs.getdbt.com/reference/dbt-jinja-functions/run_query

{% macro hello_world() %}
  {% set sql %}
    SELECT 1
  {% endset %}

  {% do run_query(sql) %}
  {% do log("Hello World", info=True) %}
{% endmacro %}

【２】set関数

* 変数に値を設定する
 => 変数にSQL文を設定し、run_queryで実行する

https://docs.getdbt.com/reference/dbt-jinja-functions/set

設定方法１：set xxx="xxx"

{% set value = "Hello World" %}

設定方法２：set xxx ... endset

{% set value %}
    Hello World
{% endset %}

【３】execute変数

* dbtの「コンパイル」フェーズ（execute＝False）と
　「実行」フェーズ（execute＝True）を区別するために使う

https://docs.getdbt.com/reference/dbt-jinja-functions/execute

１）if execute

* dbtのマクロ内で実際にクエリを実行するかどうかを制御するために使用

２）どういった時に使うか？

* 以下「【修正前】models/demo.sql」をコンパイルすると
　「Compilation Error」が発生してしまう

https://docs.getdbt.com/reference/dbt-jinja-functions/execute

【修正前】models/demo.sql

{% set query %}
select distinct
id
from my_first_dbt_model
{% endset %}

{% set results = run_query(query) %}
{# Return the first column #}
{% set payment_methods = results.columns[0].values() %}

コマンド例：Compilation Error

$ dbt compile -q
13:44:32  Encountered an error:
Compilation Error in model demo (models/demo.sql)
  'None' has no attribute 'table'. This can happen when calling a macro that does not exist. Check for typos and/or install package dependencies with "dbt deps".

【修正後】models/demo.sql

{% set query %}
select distinct
id
from my_first_dbt_model
{% endset %}

{% set results = run_query(query) %}
{# Return the first column #}
{% if execute %}
  {% set payment_methods = results.columns[0].values() %}
{% else %}
  {% set payment_methods = [] %}
{% endif %}

【４】サンプル

例１：SELECT文の実行するマクロ

* テストデータは以下の関連記事を参照の事

https://dk521123.hatenablog.com/entry/2025/04/26/234102

macro/demo_macro.sql

{% macro demo_macro(target_table) -%}
  {% set query %}
    SELECT * FROM {{ target_table }}
  {% endset %}

  {% set results = run_query(query) %}
  {{ log("Results: " ~ results.columns[0].values(), True) }}
{% endmacro %}

コマンド例

$ dbt run-operation demo_macro --args '{target_table: daily_sample_user}' 
13:02:11  Running with dbt=1.9.4
13:02:11  Registered adapter: postgres=1.9.0
13:02:11  Found 2 models, 4 data tests, 434 macros
13:02:11  Results: ('X001', 'X002', 'X003', 'X004', 'X005')

【５】使用上の注意

* 結果が大量に返ってくるような結果を変数に入れると
　メモリ不足で落ちる可能性がある
 => 実際にあった事象は、以下の関連記事の
　「【１】Airflow + dbt でエラー「Task exited with return code -9」」を参照のこと

動的なdbt 実行時でのトラブル
https://dk521123.hatenablog.com/entry/2024/09/10/145921

ランキング参加中

プログラミング

プログラムの超個人的なメモ

Memo for Programming.

【dbt】dbt ～ SQL実行関数 / run_query ～

◾️はじめに

目次

【１】run_query関数

【２】set関数

設定方法１：set xxx="xxx"

設定方法２：set xxx ... endset

【３】execute変数

１）if execute

２）どういった時に使うか？

【４】サンプル

例１：SELECT文の実行するマクロ

【５】使用上の注意

関連記事