2024-08-01から1ヶ月間の記事一覧
■ はじめに dbt で Snowflake の テーブルを扱うことになり Transientテーブルを永続テーブルに切り替える必要ができたので 調査してみた なお、Transient テーブルなどのSnowflakeのテーブルについて 以下の関連記事を参照のこと Snowflake ～ 基本編 / テ…
■ はじめに https://qiita.com/python_academia/items/a54a6d1dcc5a12875c88 を読んでいた際に、 Scala で気に入っている match文が、Python3.10以降から 使えるとのことので、メモっておく 目次 【１】match文 １）使用上の注意 【２】サンプル 例１：Hello…
■ はじめに Github Actions の処理結果を datadog で管理する必要ができたので調べてみた。 目次 【０】準備 １）公式ドキュメント：CI Visibility (CI/CDの可視化) ２）前提条件 【１】datadog の設定手順 - その１ １）datadog へのログイン ２）"Get Star…
■ はじめに デバッグするために dbt の SQL文を確認する必要ができたので 予習しておく 目次 【１】準備：環境設定 １）DB：PostgreSQL ２）DBTおよびDBTプロジェクト作成 【２】SQL文確認方法 １）Log Level（--log-level debug） ２）SQLファイル出力先 ta…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/23/012045 で、dbt version を v1.7 -> v1.8 に アップグレードした時に トラブルが発生したので、そのトラブルシュートをメモっておく なお、トラブルに関しては、以下の公式のIssueで既に挙げら…
■ はじめに dbt Core v1.7 を使っているのだが、 以下の公式ドキュメントを確認したところ、 もうすぐサポートが切れる https://docs.getdbt.com/docs/dbt-versions/core dbt Core Initial release Support level and end date v1.8 May 9 2024 Active — May…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/21/000445 の冒頭で言ったAirflow の docker-compose.yml の中の 「image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.10.0}」について 調べたら、Compose 内の環境変数を参照方法だと分かった。 こ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/11/134840 で、Airflow の docker-compose.yml を触っている際に、 いくつか不明な表記があった。 その中で「拡張フィールド」について扱う。 Airflow の docker-compose.yml https://airflow.apa…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/29/003751 の続き。 小ネタ。 DBTにおいて、各DWH（DB）により、処理を切り替える方法を記載する 目次 【１】adapter object １）dispach メソッド 【２】サンプル 例１：Hello world 【１】adapt…
■ はじめに Terraform で条件分岐をする方法についてまとめておく。 目次 【１】Terraform の 条件分岐 【２】構文 【３】用途例 【４】サンプル 例１：Hello world 例２：count との組み合わせでリソース切替 【１】Terraform の 条件分岐 * Terraform では…
■ はじめに Terraform で ループをする方法についてまとめておく。 ループは、同じリソースを複数作成するのに役立つ。 目次 【１】count 【２】for_each １）toset 【３】for 【１】count https://developer.hashicorp.com/terraform/language/meta-argumen…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/10/115429 などで、Github Actions で Linter を実行したが、 実行対象ファイルは、拡張子だけで全体にかけていた。 できれば、プルリクエスト作成時/commit push時 には ベースブランチからの差…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/08/202314 https://dk521123.hatenablog.com/entry/2024/08/09/141801 の続き。 今回は、TOMLファイルをGithub Actionsでチェックする方法について 調べてみた。 目次 【１】自作する １）サンプ…
■ はじめに https://dk521123.hatenablog.com/entry/2024/08/08/202314 の続き。 今回は、YAMLファイルをGithub Actionsでチェックする方法について 調べてみた。 目次 【１】Third-Party Github Action を利用する 【２】サンプル 【１】Third-Party Github…
■ はじめに 今日、TOMLファイルのカンマ忘れでシステムがうまく動かなくて、 ドハマりした。 設定ファイル系のJSON/YAML/TOMLなどは、コンパイルがないので フォーマット誤りを起こしていたとしても、そこに気が付くのが なかなか難しく、これを極力事前に分…
