dbt
■ はじめに https://dk521123.hatenablog.com/entry/2024/02/28/225002 の続き。 SQL の Linter (リンター) で「SQLFluff」がでてくるが、 どうも「sqlfmt」と併用して使うことも多いみたいなので 調べてみた。 目次 【１】sqlfmt 【２】環境構築 【３】構文…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Delete and Insert について、深堀っていく 目次 【１】構文 【２】サンプル 【１】構文 {{ config( materialized='incremental', unique_key=['user_id' , ...], inc…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、Update or Insert （Upsert）について、深堀っていく 目次 【１】Update or Insert に関する属性 １）merge_update_columns / merge_exclude_columns 【２】構文 【３…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 DBT に関する環境設定をまとめておく 目次 【０】使用上の注意 １）PostgreSQLを使う場合 【１】dbt インストール方法 【２】pip によるインストール １）前提条件 ２）Window…
■ はじめに 小ネタ。 今回は、DBTのaliases （エイリアス）を学んだので メモっておく 目次 【１】alias 【２】使いどころ 【３】構文 １）解説 【１】alias * テーブルなどを別名（＝alias）を付けることができる => モデルなどは、デフォルトだとファイル…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 でも少し触れたが、DBT の ドキュメント化について 徐々にまとめていく 目次 【１】公式ドキュメント 【２】dbt docs コマンド ０）dbt docs -h １）dbt docs generate ２）dbt docs se…
■ はじめに DBT の Source について、徐々にまとめていく 目次 【１】Source 【２】ベストプラクティス 【３】使い方 １）Source の宣言 ２）フォーマット 【４】Hello world １）準備 ２）サンプル 【１】Source * 変換の元となるデータを「ソース」と呼ぶ …
■ はじめに DBT での色々な更新について徐々にではあるがまとめていく 目次 【０】materialized １）incremental_strategy ２）is_incremental() 【２】使用上の注意 １）PostgreSQLの場合 【０】materialized cf. materialized = 具体化/具現化する https:/…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/07/060129 の続き。 今回は、DROP ＋ CTAS（CREATE TABLE AS SELECT） について、深堀っていく 目次 【１】DROP & CTAS 【２】構文 【１】DROP & CTAS * DROP ＋ CTAS（CREATE TABLE AS SELECT） …
■ はじめに dbt の macro (マクロ) について、徐々に学んでいく 【１】macro (マクロ) * 再利用可能なコードを作成する機能 => 元々は、テンプレートエンジン Jinja の機能 => Jinja のマクロについては、以下の関連記事を参照 Jinja ～ マクロ ～ https://d…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/25/231128 の続き。 今回は、DBTのModel について、徐々にTipsを書き溜めておく 目次 【１】config １）alias ２）schema ３）database サンプル 【２】変数 １）変数設定 ２）変数の参照 ３）サ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 https://dk521123.hatenablog.com/entry/2023/11/20/230946 の続き。 dbt の モデル（Model）について、徐々に学んでみる 目…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 https://dk521123.hatenablog.com/entry/2023/05/30/151003 の続き。 dbt の シード（Seed）について、徐々に学んでみる 目次 【１】Seed 【２】Hello world １）前提条件 ２）実行手順…
■ はじめに dbt の良さとか、何ができるかってのを徐々にだがメモしていく 目次 【１】dbt 【２】サポートデータプラットフォーム 【３】利点 １）環境の切替が容易 ２）シンプルな実装が可能 ３）ドキュメント生成 ４）テストの自動化 【４】動画 【１】dbt…
■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【１】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【２】Windowsで「pip install --upgrade pip wheel s…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/30/000000 の続き。 dbt に関するお仕事が入ったので、急遽メモ。 目次 【１】dbt 【２】インストール 【３】QuickStart ０）前提条件 １）作業ディレクトリを作成する ２）テスト用DB環境を準備…
