Snowflake
■ はじめに Snowflake で エラーがあったので 原因とトラブルシュートを書いておく 【１】現象 Snowflake で、 INSERT文で以下「【２】エラー内容」が表示 発生したSQL例 CREATE OR REPLACE TABLE demo_table ( ... comment VARCHAR(100) DEFAULT NULL, ... …
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/09/155708 で、以下「SQL文」でトラブルシュートしていたのだが、 QUERY_HISTORYビューのSTART_TIMEとEND_TIME（特にSTART_TIME） の時間帯が全く身に覚えない時間帯で実行されていて調べてみたら…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で、Snowflakeのトラブルシューティングのための統計情報を取得する方法を 扱っていたが、 今日、QUERY_HISTORY ビューを使って、トラブルシュートしたので 改めて、別冊で扱ってみた。…
■ はじめに 小ネタ。 最近小ネタばっかだが、、、 Snowflake の SELECT ... EXCLUDE が何気に便利だったので メモしておく。 目次 【１】SELECT ... EXCLUDE 【２】利点 【３】利用例 １）CREATE TABLE SELECT で利用 【１】SELECT ... EXCLUDE * EXCLUDEで…
■ はじめに 小ネタ。 Snowflake の パラメータ「ENABLE_UNREDACTED_QUERY_SYNTAX_ERROR」について 知ったので、メモっておく。 目次 【１】導入：Snowflake におけるWebUIのクエリ履歴 【２】ENABLE_UNREDACTED_QUERY_SYNTAX_ERROR 【３】設定方法 【１】導…
■ はじめに Local開発環境はPostgreSQLで 本番環境はSnowflakeで DB（DWH）間には、DBTで吸収しているが 時にそれでも違いでエラーになる場合があったので 原因をメモっておく 目次 【０】データ準備 １）PostgreSQL環境 ２）使用データ 【１】WHERE句でエイ…
■ はじめに Snowflakeで管理しているテーブルのIDに「"123401"」のように ダブルクォーテーションの囲み文字が混じっていた。 除去したいし、そもそも、今更ながら、 シングル・ダブルクォーテーションの違いとか あいまいだったので、その周辺の知識を調べ…
■ はじめに 小ネタ。 Snowflake の NULL の扱いについて、メモっておく 目次 【１】IFNULL 【２】NULLIF 【３】NULLIFZERO 【４】EQUAL_NULL 【５】IS_NULL_VALUE 【６】COALESCE 【１】IFNULL -- expr1 が NULL の場合は、 expr2 を返す -- それ以外の場合…
■ はじめに Snowflakeでトラブルシューティングしたので、メモ。 【１】トラブル概要 以下「実行したSQL」のように CREATE TABLE ... CLONE でテーブルのバックアップを試みたところ、 以下「【２】エラー内容」が発生した。 実行したSQL CREATE TABLE demo_…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/16/000000 で、SQLの一般の集合演算について触れた。 今日、Snowflake 内に格納されているデータを検証するために 差集合を使ったので、その際のことなどを纏めておく 目次 【０】Snowflake の 集…
■ はじめに dbt で Snowflake の テーブルを扱うことになり Transientテーブルを永続テーブルに切り替える必要ができたので 調査してみた なお、Transient テーブルなどのSnowflakeのテーブルについて 以下の関連記事を参照のこと Snowflake ～ 基本編 / テ…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2024/02/19/152927 の作業時に、Snowflake の IDENTIFIER を習ったのでメモ。 ついでに、SET に関してもメモっておく。 （小ネタだったが、書いていく内に思った以上に書く量が多くなってしまっ…
■ はじめに 業務で、Snowflake の Data Sharing (データ共有）について 扱う機会がでたので、ちょこっと調べてみた。 目次 【１】Snowflake Data Sharing 【２】主な操作 １）CREATE SHARE ２）SHOW SHARES 【３】共有方法 １）共有へのデータベースロールの…
■ はじめに Python で Snowflake の 非同期クエリを実行することになったので これを機にPython用Snowflakeコネクタを学んでみる 目次 【１】Python用Snowflakeコネクタ 【２】環境設定 【３】同期クエリ実行 １）サンプル ２）関連するAPI 【４】非同期クエ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/04/222610 の続き。 今回は、Snowflakeのパフォーマンスのキーとなる 「プルーニング」、「マイクロパーティション」、「スピル」 について扱う 目次 【１】プルーニング（Pruning） １）どうやっ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/09/05/161817 において、Mergeでパフォーマンス悪化した際に クエリプロファイルの「JoinFilter」と「JoinKey」とか学んだので 徐々にメモしていく 目次 【１】クエリプロファイル 【２】実行計画 １…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/01/132611 の続き。 SnowflakeのMerge文において、 使用した際に文法的に制約があったので、 そのことと回避案をメモしておく 目次 【１】「一致する値」と「一致しない値」で指定できる更新文が…
■ はじめに テーブル内のデータをアンロードして テストデータを作るって作業をしていて 大分、久しぶりに、 Snowflakeスクリプトを書いたのだが 仕様とか色々大幅にかかりそうな予感を感じているので Pythonコード化して対応しておく 【１】前提条件 * スト…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で紹介した、Snowflakeのタグ付けについて、 掘り下げてみる 目次 【０】Snowflake のタグ １）公式ドキュメント ２）用途 【１】タグ作成 【２】使用上の注意 【３】タグを付加させる…
■ はじめに パフォーマンステストで、システムのトータル処理時間を測定する際に Snowflakeの完了時刻を知る必要がある。 そこで、完了時刻などの統計情報について、分かったことを 少しづつだが、まとめていく 目次 【１】GUIから確認するには 【２】コマン…
■ はじめに 久しぶりに、業務で https://dk521123.hatenablog.com/entry/2022/06/29/221037 でやったSnowflake の ストレージ統合 を使って、 アンロードをやったのだが、結構、ハマったので メモっておく なお、ハマった箇所の一部としては、以下の ステッ…
■ はじめに 小ネタ。 Snowflake の SEQUENCE について扱う 目次 【１】SEQUENCE 【２】SQL文 １）CREATE 文 ２）SHOW 文 ３）ALTER 文 ４）DROP文 【３】Tips １）バックアップ＆所有権付与 【４】使用上の注意 １）シーケンス作成後、初期値変更不可 ２）連…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2023/04/14/151140 に近いのだが、別エラーがでたので、メモ。 【１】トラブル概要 テーブルの所有権を変更するために 以下「実行したSQL」した…
■ はじめに https://dk521123.hatenablog.com/entry/2022/10/10/000000 で、Snowflakeのビューをやったが、 Materialized View (マテリアライズドビュー; マテビュー) が ちょくちょくキーワードとしてでてくるので、この機会に 徐々にまとめていく。 ちなみ…
■ はじめに Snowflake のコストの見積もりについて分かったことを纏める 目次 【１】見積もり算出ツール 【２】公式ドキュメント 【３】クレジット 【４】コストを決める3要素 １）コンピューティング ２）ストレージ ３）データ転送 【１】見積もり算出ツー…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/07/144114 で、Kafka用Snowflakeコネクタ について扱ったが 必須で「snowflake.private.key (必須)」って項目があり 以下のような説明だった https://docs.snowflake.com/ja/user-guide/kafka-con…
■ はじめに 業務で、 Kafka用Snowflakeコネクタ を試すことになったのでメモ。 徐々に書き足していく、、、 目次 【１】Kafkaコネクタ 【２】仕様 【３】設定 １）Kafkaコネクタの種類 ２）設定手順 【４】Kafka構成ファイル １）構成ファイル例 ２）Kafka構…
■ はじめに Snowflake の タスク（Task） に調べてみた 目次 【１】タスク（Task） 【２】使用上の注意 【３】SQL文 １）CREATE TASK ２）ALTER TASK ３）SHOW TASKS 【４】サンプル 例１：Hello world 【１】タスク（Task） * Snowflakeにおいて、以下を実…
■ はじめに 仕事で、Snowflake の Snowpipe を試しそうなので 予習しておく 目次 【１】Snowpipe １）公式ドキュメント 【２】SQL文 １）CREATE PIPE ２）SHOW PIPES 【３】使用上の注意 １）推奨ロードファイルサイズ ２）日時関数の使用 ３）ファイルの削…
■ はじめに Snowflakeでトラブったので、 自戒の意味を込めてもメモ、、、 目次 【１】トラブル内容 １）エラーまでのSQL文 【２】エラー内容 【３】原因 【４】解決案 【５】Tips １）SHOW GRANTS ２）GRANT 【１】トラブル内容 テーブルの普及作業でゴミが…
