◾️はじめに Snowflake で Apache Iceberg でサポートされているらしいので まずは、Apache Icebergについて調べてみた 目次 【１】Apache Iceberg １）テーブル形式（Table Format）とは？ ２）クラウドサービスのサポート状況 【２】歴史 １）背景 - Hive/H…

◾️はじめに 既存システムのコード調査をしてた時に CASCADE って見慣れないキーワードを見たのでメモ。 はじめ、大したことなさそうなので、記事にするか迷ったが、 このオプションについて、さまざまなDBでサポートされているが DBごとによって仕様やデフォ…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/07/230713 の調査の一環として、 Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を Github Copilotに聞いたところ、「s3fs」を教えてくれたので メモってみた 目次 【１】s3fsラ…

◾️はじめに datadog の Array processor を使ったので、メモ。 目次 【０】Array processor / 配列プロセッサー 【１】Select value from a matching element (一致する要素から値を選択) 【２】Compute the length of an array (配列の長さ) 【３】Append a…

◾️はじめに Snowflakeでトラブルがあったのでメモ。 以下のサイトが非常にいい記事で助かった。 https://zenn.dev/indigo13love/articles/be2a44901cc0af 目次 【１】トラブル概要 １）エラーになるSQL例 ２）エラーにならなかったSQL例 【２】エラー内容 【…

◾️はじめに 小ネタ。 調査するSQLで可変部分があって、 こちょこちょ直すとミスしやすいと思ったので 変数化したので、ちょっとメモっておく。 もう記憶の彼方になってしまったのだが、 過去記事を整理してたら、IDENTIFIERってのもあったので 以下の関連記…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/04/14/145556 https://dk521123.hatenablog.com/entry/2025/02/14/200308 で、Datadogのpipeline（パイプライン）について扱った。 久しぶりに、datadog dashboard を触って、意図通りに表示されなか…

◾️はじめに 今更ながら、Pythonのリスト内包表記（List comprehensions） について扱う。 目次 【１】リスト内包表記（List comprehensions） １）例 【２】リスト内包表記の種類 １）配列（list） ２）集合（set） ３）辞書（dict） 【３】リスト内包表記の…

◾️はじめに 少し作業に余裕が出てきて、docker での警告を見てみたら 勉強になったのでメモ。 学べたこと * Orphan containers（孤立したコンテナ）および「--remove-orphans」オプション * Dockerのプロジェクト名 * 「to avoid potential confusion」って…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/05/26/132317 の続き。 dbtのsnapshot機能の座学はわかったので 今回は、dbt snapshotコマンドを実行して Hello world的なことをやってみる 目次 【１】前提条件 １）開発環境 【２】Hello world ０…

◾️はじめに 病院の待ち時間で、暇だったので 前から気になっていた「dbt snapshot」について調べていたら、 自分がイメージしている機能とは違っていた。 また、結構知らないこと（例えば、SCD(Slowly Change Dimensions)など） があったので、メモしておく …

◾️はじめに https://dk521123.hatenablog.com/entry/2025/05/22/143541 の続き。 チャット形式でのGitHub Copilotを試せたので、 今回は、よくある「IDE での使用」VS codeを試してみる 目次 【１】サポートIDE 【２】サポート言語 【３】環境設定 【４】使…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/05/22/143541 で、GitHub Copilotについて扱ったが、 早速、GitHub Copilot chat で、 以前から発生していたエラー「Cross-db references not allowed in postgres」 について聞いてみたら、素晴らし…

◾️はじめに 現場で、GitHub Copilot を使えるようになったので、 調べてみた 目次 【１】GitHub Copilot １）類似サービス 【２】機能 １）補足：簡単に試してみたい場合 【３】使用場所 【４】料金 １）個人向け ２）Organization ３）Enterprise 【５】実…

◾️はじめに 小ネタ。 友人と飲みに行った時にSQLの質問されて 試しにやってみたら、思ったより勉強になった。 そのついでに出てきた、ゼロ埋めをメモっておく 目次 【１】ゼロ埋め 方法１：TO_CHAR＋FM 接頭辞 を使う 方法２：LPAD を使う 【２】サンプル 例…

◾️はじめに 小ネタ。 前から気になっていた dbt の「+ prefix (e.g. +materialized)」 について、メモっておく 目次 【１】+ prefix 【２】目的１：設定とリソースパスを明確するため １）補足：必須ではなく推奨レベル 【３】目的２：辞書型入力時 例１： p…

◾️はじめに https://dk521123.hatenablog.com/entry/2021/11/16/231010 でやっていたアクセス制御だが、 DACとかRBACとか色々整理できていなかったので 整理していく 目次 【０】Snowflakeアクセス制御の種類 【１】DAC (Discretionary Access Control) 【２…

◾️はじめに 今回は、dbt の config について扱う 目次 【１】config １）profiles.yml との住み分け 【２】configの設定方法 １）config() での設定 ２）models/properties.yml での設定 ３）dbt_project.yml での設定 【３】configの設定内容 １）Snowflake…

◾️はじめに dbt の target について取り扱う 目次 【１】target １）Common ２）Snowflake ３）Postgres/Redshift 【２】profiles.yml との関係 １）サンプル 【３】サンプル 例１：config.enabled + target.type でDBごとで切り替える 【１】target * ウェ…

◾️はじめに dbtの変数 var についてトラブルがあって 調べてみたのでまとめておく。 その中で、env_var()ってのも知ったので ついでにメモっておく 目次 【１】変数 - var() １）参照方法 ２）設定方法１ - dbt_project.ymlで設定 ３）設定方法２ - コマンド…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/06/13/000000 の続き。 SnowflakeのAUTO_SUSPENDってのを知ったのでメモ。 目次 【１】AUTO_SUSPEND １）公式ドキュメント 【２】Snowflakeのコスト改善案：AUTO_SUSPENDを下げる 【３】AUTO_SUSPEND…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/04/30/223554 の続き。 networkingMode=bridgedを設定したら、非推奨って言われたので 対象方法も含めて調べてみた 目次 【１】エラー「ブリッジ ネットワーク モードは非推奨になりました」が表示 …

◾️はじめに 仕事で使用しているWindows PCのハードディスクの容量が どんどんなくなり、Virtualbox で動かしているLinuxも だんだん重くなり、色々やってたらぶっ壊れた。 Virtualboxだともう限界そうなので、WSLで環境を作り直すことにする 久しぶりなので…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt run-operation」コマンドをメモる。 目次 【１】dbt run-operation １）構文 【２】オプション １）--args ARGS ２）--print / --no-print ３）-q, --qu…

◾️はじめに 今回は、dbt Model / Macro内でSQL実行するための関数「run_query」 およびその周辺で使うTipsなどなどについてメモっておく 目次 【１】run_query関数 【２】set関数 設定方法１：set xxx="xxx" 設定方法２：set xxx ... endset 【３】execute変…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/21/234811 の続き。 今回は、dbt CLI「dbt show」コマンドをメモる。 目次 【１】dbt show 【２】オプション １）--inline ２）--limit n 【１】dbt show * 指定したModelや任意のSELECT文の出力…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/07/20/034930 の続き。 Python の dbtRunner を使った簡単なサンプルを作ってみる 目次 【１】前準備 １）SQL 【２】INSERT １）SQL ２）Pythonコード 【３】SELECT １）Pythonコード 【１】前準備 *…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/04/25/103533 の続き。 TOMLの記事は、上の記事でまとめようと思ったが 加筆していくと結構膨大になって、 文法もかなり分かっていないことに気がついたので TOMLの文法部分を整理してみた。 特に、T…

◾️はじめに https://dk521123.hatenablog.com/entry/2022/09/01/220643 https://dk521123.hatenablog.com/entry/2023/07/27/000000 の続き。 小ネタ。 https://dk521123.hatenablog.com/entry/2024/12/03/003405 で、業務で制御文字SOH（確かHiveのデフォル…

◾️はじめに https://dk521123.hatenablog.com/entry/2024/09/28/212432 で、Snowflake と PostgreSQL の違いについて扱った。 その際に、Local開発環境はPostgreSQLで 本番環境はSnowflakeで DB（DWH）間には、DBTで吸収していると書いたのだが できれば、DB…