Snowflake
◾️はじめに https://dk521123.hatenablog.com/entry/2025/08/31/005438 の続き。 今回は、Time Travel関連のSQL構文である AT | BEFORE 句やUNDROP文などを扱う 目次 【１】AT | BEFORE 句 １）使用例 【２】UNDROP [オブジェクト] １）構文 ２）使用例 ３）…
◾️はじめに * Snowflakeで誤操作した場合の復元方法を学ぶ 目次 【１】Snowflake Time Travel １）保持期間 ２）復元方法 【２】Snowflake Fail-safe １）保持期間 ２）復元方法 ３）使用上の注意：一時テーブル - TRANSIENT 【１】Snowflake Time Travel * …
◾️はじめに 小ネタ。 Snowflake の パイプ演算子（Pipe operator; ->>) を 教えてもらったので、メモしておく 目次 【１】パイプ演算子（Pipe operator; ->>) 【２】サンプル 例１：show tables の結果を更に絞る 【１】パイプ演算子（Pipe operator; ->>) *…
◾️はじめに 原因はエラー内容ですぐに解決できたが いまいち、納得のいく記述がなかったので 現象自体をメモしておく 【１】トラブル概要 以下のINSERT SELECT 文を実行したところ、 エラー「Expression type does not match column data type」 が表示され…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/18/143804 の続き。 前回は、Apache Icebergについておおよそ把握できたので 今回は、Snowflake内でIcebergを作ってみる => Snowflakeの公式ドキュメントがよくできているので、結構簡単にできる …
◾️はじめに Snowflake で Apache Iceberg でサポートされているらしいので まずは、Apache Icebergについて調べてみた 目次 【１】Apache Iceberg １）テーブル形式（Table Format）とは？ ２）クラウドサービスのサポート状況 【２】歴史 １）背景 - Hive/H…
◾️はじめに Snowflakeでトラブルがあったのでメモ。 以下のサイトが非常にいい記事で助かった。 https://zenn.dev/indigo13love/articles/be2a44901cc0af 目次 【１】トラブル概要 １）エラーになるSQL例 ２）エラーにならなかったSQL例 【２】エラー内容 【…
◾️はじめに 小ネタ。 調査するSQLで可変部分があって、 こちょこちょ直すとミスしやすいと思ったので 変数化したので、ちょっとメモっておく。 もう記憶の彼方になってしまったのだが、 過去記事を整理してたら、IDENTIFIERってのもあったので 以下の関連記…
◾️はじめに https://dk521123.hatenablog.com/entry/2021/11/16/231010 でやっていたアクセス制御だが、 DACとかRBACとか色々整理できていなかったので 整理していく 目次 【０】Snowflakeアクセス制御の種類 【１】DAC (Discretionary Access Control) 【２…
◾️はじめに https://dk521123.hatenablog.com/entry/2023/06/13/000000 の続き。 SnowflakeのAUTO_SUSPENDってのを知ったのでメモ。 目次 【１】AUTO_SUSPEND １）公式ドキュメント 【２】Snowflakeのコスト改善案：AUTO_SUSPENDを下げる 【３】AUTO_SUSPEND…
◾️はじめに https://dk521123.hatenablog.com/entry/2024/09/28/212432 で、Snowflake と PostgreSQL の違いについて扱った。 その際に、Local開発環境はPostgreSQLで 本番環境はSnowflakeで DB（DWH）間には、DBTで吸収していると書いたのだが できれば、DB…
◾️はじめに 小ネタ。 Snowflakeの SELECT ... FROM TABLE(RESULT_SCAN(LAST_QUERY_ID())) について学んだので、メモっておく。 知っておくと、Snowflakeでのエビデンスや調査のTipsとして役立ちそう。 後日談：もっと簡単なのが出た。詳細は以下の関連記事を…
■ はじめに https://dk521123.hatenablog.com/entry/2024/12/11/212315 でも触れたが、Streamlit in Snowflake を触ってみた。 目次 【１】Streamlit in Snowflake 【２】用途 【３】使用上の注意 １）接続がアクティブだとその分だけお金がかかる ２）機能…
■ はじめに Snowflake で Windows関数を使った際のトラブルシュートをメモ。 【１】トラブル概要 Snowflake で Windows関数「ROW_NUMBER() OVER PARTITION BY」を使った際に 以下「エラー内容」が表示してしまう １）エラーが発生したSQL SELECT * FROM ( --…
■ はじめに Snowflake で エラーがあったので 原因とトラブルシュートを書いておく 【１】現象 Snowflake で、 INSERT文で以下「【２】エラー内容」が表示 発生したSQL例 CREATE OR REPLACE TABLE demo_table ( ... comment VARCHAR(100) DEFAULT NULL, ... …
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/09/155708 で、以下「SQL文」でトラブルシュートしていたのだが、 QUERY_HISTORYビューのSTART_TIMEとEND_TIME（特にSTART_TIME） の時間帯が全く身に覚えない時間帯で実行されていて調べてみたら…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で、Snowflakeのトラブルシューティングのための統計情報を取得する方法を 扱っていたが、 今日、QUERY_HISTORY ビューを使って、トラブルシュートしたので 改めて、別冊で扱ってみた。…
■ はじめに 小ネタ。 最近小ネタばっかだが、、、 Snowflake の SELECT ... EXCLUDE が何気に便利だったので メモしておく。 目次 【１】SELECT ... EXCLUDE 【２】利点 【３】利用例 １）CREATE TABLE SELECT で利用 【１】SELECT ... EXCLUDE * EXCLUDEで…
■ はじめに 小ネタ。 Snowflake の パラメータ「ENABLE_UNREDACTED_QUERY_SYNTAX_ERROR」について 知ったので、メモっておく。 目次 【１】導入：Snowflake におけるWebUIのクエリ履歴 【２】ENABLE_UNREDACTED_QUERY_SYNTAX_ERROR 【３】設定方法 【１】導…
■ はじめに Local開発環境はPostgreSQLで 本番環境はSnowflakeで DB（DWH）間には、DBTで吸収しているが 時にそれでも違いでエラーになる場合があったので 原因をメモっておく なお、別記事で以下もある。 Snowflake と PostgreSQL の違い 〜 SQL / 日時 〜 …
■ はじめに Snowflakeで管理しているテーブルのIDに「"123401"」のように ダブルクォーテーションの囲み文字が混じっていた。 除去したいし、そもそも、今更ながら、 シングル・ダブルクォーテーションの違いとか あいまいだったので、その周辺の知識を調べ…
■ はじめに 小ネタ。 Snowflake の NULL の扱いについて、メモっておく 目次 【１】IFNULL 【２】NULLIF 【３】NULLIFZERO 【４】EQUAL_NULL 【５】IS_NULL_VALUE 【６】COALESCE 【１】IFNULL -- expr1 が NULL の場合は、 expr2 を返す -- それ以外の場合…
■ はじめに Snowflakeでトラブルシューティングしたので、メモ。 【１】トラブル概要 以下「実行したSQL」のように CREATE TABLE ... CLONE でテーブルのバックアップを試みたところ、 以下「【２】エラー内容」が発生した。 実行したSQL CREATE TABLE demo_…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/16/000000 で、SQLの一般の集合演算について触れた。 今日、Snowflake 内に格納されているデータを検証するために 差集合を使ったので、その際のことなどを纏めておく 目次 【０】Snowflake の 集…
■ はじめに dbt で Snowflake の テーブルを扱うことになり Transientテーブルを永続テーブルに切り替える必要ができたので 調査してみた なお、Transient テーブルなどのSnowflakeのテーブルについて 以下の関連記事を参照のこと Snowflake ～ 基本編 / テ…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2024/02/19/152927 の作業時に、Snowflake の IDENTIFIER を習ったのでメモ。 目次 【１】IDENTIFIER 【２】SET 【３】サンプル 例１：変数を定義して利用する 【１】IDENTIFIER * リテラルまた…
■ はじめに 業務で、Snowflake の Data Sharing (データ共有）について 扱う機会がでたので、ちょこっと調べてみた。 目次 【１】Snowflake Data Sharing 【２】主な操作 １）CREATE SHARE ２）SHOW SHARES 【３】共有方法 １）共有へのデータベースロールの…
■ はじめに Python で Snowflake の 非同期クエリを実行することになったので これを機にPython用Snowflakeコネクタを学んでみる 目次 【１】Python用Snowflakeコネクタ 【２】環境設定 【３】同期クエリ実行 １）サンプル ２）関連するAPI 【４】非同期クエ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/04/222610 の続き。 今回は、Snowflakeのパフォーマンスのキーとなる 「プルーニング」、「マイクロパーティション」、「スピル」 について扱う 目次 【１】プルーニング（Pruning） １）どうやっ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/09/05/161817 において、Mergeでパフォーマンス悪化した際に クエリプロファイルの「JoinFilter」と「JoinKey」とか学んだので 徐々にメモしていく 目次 【１】クエリプロファイル 【２】実行計画 １…
