◾️はじめに 仕事で使用しているWindows PCのハードディスクの容量が どんどんなくなり、Virtualbox で動かしているLinuxも だんだん重くなり、色々やってたらぶっ壊れた。 Virtualboxだともう限界そうなので、WSLで環境を作り直すことにする 久しぶりなので…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt run-operation」コマンドをメモる。 目次 【１】dbt run-operation １）構文 【２】オプション １）--args ARGS ２）--print / --no-print ３）-q, --qu…

◾️はじめに 今回は、dbt Model / Macro内でSQL実行するための関数「run_query」 およびその周辺で使うTipsなどなどについてメモっておく 目次 【１】run_query関数 【２】set関数 設定方法１：set xxx="xxx" 設定方法２：set xxx ... endset 【３】execute変…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt show」コマンドをメモる。 目次 【１】dbt show 【２】オプション １）--inline ２）--limit n 【１】dbt show * 指定したModelや任意のSELECT文の出力…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/20/034930 の続き。 Python の dbtRunner を使った簡単なサンプルを作ってみる 目次 【１】前準備 １）SQL 【２】INSERT １）SQL ２）Pythonコード 【３】SELECT １）Pythonコード 【１】前準備 *…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/04/25/103533 の続き。 TOMLの記事は、上の記事でまとめようと思ったが 加筆していくと結構膨大になって、 文法もかなり分かっていないことに気がついたので TOMLの文法部分を整理してみた。 特に、T…

◾️はじめに https://dk521123.hatenablog.com/entry/2022/09/01/220643 https://dk521123.hatenablog.com/entry/2023/07/27/000000 の続き。 小ネタ。 https://dk521123.hatenablog.com/entry/2024/12/03/003405 で、業務で制御文字SOH（確かHiveのデフォル…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/09/28/212432 で、Snowflake と PostgreSQL の違いについて扱った。 その際に、Local開発環境はPostgreSQLで 本番環境はSnowflakeで DB（DWH）間には、DBTで吸収していると書いたのだが できれば、DB…

◾️はじめに https://docs.getdbt.com/docs/dbt-versions/core-upgrade/upgrading-to-v1.10 で、dbt v1.10 がBeta版だけどリリースされて 色々調べてたら、以下のサイトが見つかった。 https://github.com/dbt-labs/dbt-core/milestone/91 Githubで「マイルス…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/11/20/230946 で、dbtのSeed（シード）を扱ったが、 今回は、そのSeedのdbt CLIを扱う。 なお、公式ドキュメントは、オプションが見づらい気がする 目次 【１】dbt seed 【２】オプション １）--sele…

◾️はじめに Python で辞書リストの重複を排除するために 色々調べたら、frozensetってのを使ったのでメモ。 目次 【１】frozenset １）仕様 【２】用途 １）辞書のキーとして利用 【３】frozensetの利用例：辞書リストの重複排除 １）完全一致で重複排除 ２…

◾️はじめに Datadogのpipeline（パイプライン）について 徐々にメモっていく 目次 【１】Pipelineを知る前にdatadogに関する前提知識 【２】Pipeline １）補足事項 【３】Pipelineの役割 【４】Pipelineの構築 【１】Pipelineを知る前にdatadogに関する前提…

◾️はじめに 現在扱っているテーブル一覧が欲しいってニーズがあり、 dbt model から取得しようとしたら、 dbt list / dot lsコマンドから取得できることが分かったので 調べてみた 目次 【０】何に使える？ 【１】dbt list / dbt ls 【２】オプション １）--…

◾️はじめに 小ネタ。 Snowflakeの SELECT ... FROM TABLE(RESULT_SCAN(LAST_QUERY_ID())) について学んだので、メモっておく。 知っておくと、Snowflakeでのエビデンスや調査のTipsとして役立ちそう。 後日談：もっと簡単なのが出た。詳細は以下の関連記事を…

◾️はじめに datadog の integration (インテグレーション) について 徐々にメモしていく 目次 【１】integration (インテグレーション) 【２】サポートしているintegration 【３】インストール方法 【４】各ライブラリのintegration １）通知に関するintegra…

◾️はじめに マージでトラブルがあったので、Merge周辺のことを調べてみた 目次 【０】前提知識 １）Squash ２）Rebase 【１】Github の PR のマージ方法 １）Create a merge commit ２）Squash and merge ３）Rebase and merge 【２】メリット・デメリット …

■ はじめに Hive でデータが積み重なるようなテーブル （例えば、ユーザ情報で入会・退会するようなデータ）に対して ユーザの最新/過去直近情報を取得するのに、 ROW_NUMBER + PARTITION BY を使ったので、メモする。 他にも応用が利きそう。 なお、以下の…

◾️はじめに Jinja2の繰り返し(ループ)についてメモ。 目次 【１】for文 【２】ループの制御文 １）break文 ２）continue文 【３】loop １）主なメソッド ２）サンプル 【４】使用上の注意：変数をループする場合の注意点 １）NG例 ２）OK例 【１】for文 サン…

◾️はじめに Jinja2の条件分岐についてメモ。 目次 【１】if文 １）サンプル 【２】論理演算子 １）サンプル 【３】三項演算子 １）サンプル 【１】if文 {% if 条件式1 %} {# 条件式1が true なら実行される #} {% elif 条件式2 %} {# 条件式2が true なら実…

◾️はじめに Jinja2で変数が文字列もしくは１要素のタプルの場合、文字列として扱い 1文字づつループされてしまい、その対策として変数をチェックすることを 調べたので、Jinja2の変数全般をまとめてみた 目次 【１】変数定義 【２】変数参照 【３】変数チェ…

◾️はじめに 小ネタ。 dbt の macro を作っていてSyntax errorを回避するために do文（do statement）を使った。 ただ、調べてみてもいい解説しているページが見つからなかったので 自分なりの解釈でまとめてみた 目次 【０】do文の公式ドキュメントの解説 【…

◾️はじめに Label / Selector / Node Selector について、 メモしていく 目次 【１】Label １）目的 ２）サンプル ３）推奨ラベル (Recommended Labels) ４）補足：Annotations 【２】Selector ０）LabelとSelectorの関係 １）Label Selector ２）Node Selec…