■ はじめに

DBT の pre-hook/post-hook について学んだのでメモ

【１】公式ドキュメント
【２】Hooks
　１）pre-hook
　２）post-hook
【３】Hookの設定方法
　１）モデル内に設定する
　２）dbt_project.yml 内に設定する
　３）models/properties.yml 内に設定する
【４】サンプル
　例１：モデルのバックアップ作成
　例２：Snowflake の 仮想ウェアハウスを切り替える

【１】公式ドキュメント

* 以下、参照。

https://docs.getdbt.com/docs/build/hooks-operations
https://docs.getdbt.com/reference/resource-configs/pre-hook-post-hook

【２】Hooks

* 実行前・後のイベントハンドラ
* seedやsnapshotでも使用可能
* SQL文だけでなく、Macroなども呼び出すことは可能

１）pre-hook

* model作成直前にクエリを実行できる

２）post-hook

* model作成直後にクエリを実行できる

【３】Hookの設定方法

* 公式ドキュメントに記載されている

https://docs.getdbt.com/reference/resource-configs/pre-hook-post-hook

１）モデル内に設定する

{{
  config(
    post_hook=["{{ your_macro() }}"]
  )
}}

２）dbt_project.yml 内に設定する

models:
  schama: demo_schema
  +post-hook: "{{ your_macro() }}"

３）models/properties.yml 内に設定する

models:
  - name: demo_model
    config:
      post_hook: "{{ your_macro() }}"

【４】サンプル

* 公式ドキュメントのサンプルは以下。

https://docs.getdbt.com/docs/build/hooks-operations#additional-examples

例１：モデルのバックアップ作成

* dbt run すれば、モデル作成後、
　そのテーブルのバックアップ（_bk）を作成される
 => pre_hook の DROP は実際にはやっちゃだめだけど。
　（あくまでデモとして実装しただけ）

models/customers.sql

{{
  config(
    alias='hello',
    schema='demo_schema',
    database='sample_db',
    materialized='table',
    pre_hook=["{{ clean_backup('customers') }}"],
    post_hook=["{{ backup('customers') }}"]
  )
}}

select
  1 as id,
  'Mike' as name,
  '{{ var("remark", "hello_world") }}' as remark,
  now() as insert_at

macros/clean_backup.sql

{%- macro clean_backup(table_name) %}
    DROP TABLE IF EXISTS {{ table_name }}_bk
{% endmacro %}

macros/backup.sql

{%- macro backup(table_name) %}
    CREATE TABLE IF NOT EXISTS {{ table_name }}_bk AS SELECT * FROM {{ table_name }}
{% endmacro %}

例２：Snowflake の仮想ウェアハウスを切り替える

{{
  config(
    pre_hook=["{{ init('demo_table') }}"]
  )
}}

macros/init.sql

{%- macro init(table_name, warehouse_size='DEMO_WH_XS') %}
    {{ return(adapter.dispatch('init')(table_name, warehouse_size)) }}
{% endmacro %}


-- For default
{% macro default__init(table_name, warehouse_size) -%}
    {{ log("Skip init for " ~ table_name) }}
{%- endmacro %}

-- For Snowflake
{% macro snowflake__init(table_name, warehouse_size) %}
    USE WAREHOUSE {{ warehouse_size }};

    -- 例えば、テーブル件数によって
    -- Warehouseサイズを切り変えるみたいなこともできる
{% endmacro %}

参考文献

https://dev.classmethod.jp/articles/dbt-hooks/
https://zenn.dev/foursue/books/31456a86de5bb4/viewer/2d919d

ランキング参加中

プログラミング

プログラムの超個人的なメモ

Memo for Programming.

【dbt】dbt ～ Hooks ～

■ はじめに

目次

【１】公式ドキュメント

【２】Hooks

１）pre-hook

２）post-hook

【３】Hookの設定方法

１）モデル内に設定する

２）dbt_project.yml 内に設定する

３）models/properties.yml 内に設定する

【４】サンプル

例１：モデルのバックアップ作成

例２：Snowflake の仮想ウェアハウスを切り替える

参考文献

関連記事

■ はじめに

目次

【１】公式ドキュメント

【２】Hooks

１）pre-hook

２）post-hook

【３】Hookの設定方法

１）モデル内に設定する

２）dbt_project.yml 内に設定する

３）models/properties.yml 内に設定する

【４】サンプル

例１：モデルのバックアップ作成

例２：Snowflake の 仮想ウェアハウスを切り替える

参考文献

関連記事

例２：Snowflake の仮想ウェアハウスを切り替える