Snowflake
■ はじめに EXECUTE IMMEDIATE文についてメモしておく。 目次 【１】EXECUTE IMMEDIATE １）使いどころ 【２】サンプル 【３】その他のTips １）二重ドル記号（$$） 【１】EXECUTE IMMEDIATE * 指定されたSQL文の文字列を即時実行する https://docs.snowflak…
■ はじめに https://dk521123.hatenablog.com/entry/2022/12/11/202904 の続き。 ストアド で ループする処理を学ぶ。 今回で、大分便利に使えるようになりそう、、、 目次 【１】Snowflakeのストアドのループ操作 １）FOR ２）WHILE ３）REPEAT ４）LOOP 【…
■ はじめに https://dk521123.hatenablog.com/entry/2022/12/09/152837 で、Snowflakeには、Timerみたいに疑似的な処理がなさそうで その代替え案としてストアドプロシージャを軽く触ったのを きっかけに調べてみた。 目次 【１】ストアドプロシージャ (Stor…
■ はじめに 小ネタ、、、 だと思ったが、実験などして意外と実りがあった。 クエリを中断（Abort; アボート）する必要があり 長時間掛かるクエリの場合、 Web UI上でできないこともあるので調べてみた 目次 【１】クエリの中断の仕方 １）実行クエリがWebUI…
■ はじめに Snowflake の ネットワークポリシー（Network policy）について 触れたので、メモ。 難しいのかなっと思ったが、シンプルで結構簡単に理解できた。 目次 【１】ネットワークポリシー 【２】SQL文 １）CREATE NETWORK POLICY ２）ALTER ACCOUNT ３…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 データロードが時間が掛かるので、 データロードのパフォーマンスについて調べてみた。 目次 【０】データロードのパフォーマンス 補足：公式ドキュメントより 【１】ウェアハ…
■ はじめに Snowflake で時間が掛かる処理があるため そのボトルネックの原因を知りたいのだが そもそも、どう調査していいものかが分からず そっから調査したのでメモ。 目次 【１】ウェアハウス負荷監視 １）ドキュメントについて 補足：リソースモニター…
■ はじめに Snowflake の ウェアハウス（Warehouse、仮想ウェアハウスも同じ意味） について、こつこつまとめていく 目次 【１】ウェアハウス (Warehouse) 【２】SQL文 / コマンド １）CREATE WAREHOUSE ２）ALTER WAREHOUSE ３）DROP WAREHOUSE ４）SHOW WA…
■ はじめに Snowflake における リソースモニター（Resource monitor）について メモしておく 目次 【１】リソースモニター（Resource monitor） 補足：Snowflakeクレジット 【２】SQL文 / コマンド １）CREATE RESOURCE MONITOR ２）SHOW RESOURCE MONITORS…
■ はじめに 長い間、よくわからなかったSnowflakeの接続問題について やっと原因が理解できたので、メモする。 目次 【１】トラブル概要 【２】エラー内容 【３】原因 １）確認方法 【４】解決案 【５】別ケースでの同じエラー 【１】トラブル概要 Snowflake…
■ はじめに 念のために、Snowflakeの既存のテーブルをバックアップとる って作業が発生しそうなので、簡単な方法でできないか調べてみた => 結論としては、原始的にSQLでやることになりそうだが その経過で調べた「CREATE CLONE」についても触れる => あと、…
■ はじめに ユーザ操作について、 今までコマンド実行は知っていて使っていたのだが、 Web UIでのGUI操作（DROPなど）があるのを 知ったのでメモ。 目次 【１】コマンド操作 １）SHOW ROLES/USERS ２）DESCRIBE USER 【２】GUI操作 １）ユーザ削除の場合 ２…
■ はじめに パーティション (Partition) のようなパス構成 （e.g. s3://your-s3-bucket/test/demo/date=20221028/）のデータを Snowflake で取り込む必要がでてきそうだったので その方法についてまとめる。 後日談 * 色々調べてみると、同じようなことを公…
■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】解決案 【１】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…
■ はじめに https://dk521123.hatenablog.com/entry/2022/02/24/231532 を分冊。 SnowflakeのDBアクセス権限に関する調査において、 「SHOW GRANTS TO USER <user_name>」や 「SHOW GRANTS TO ROLE <role_name>」を使った。 個人的に結構よく使うので、まとめておく。 目次 【０】S</role_name></user_name>…
■ はじめに Snowflake の View を調べたので、メモっとく。 目次 【１】View 【２】関連するSQL文 １）CREATE VIEW 【３】その他コマンド １）SHOW VIEWS ２）DESCRIBE VIEW 【４】おまけ：Secure View １）使用上の注意 【１】View https://docs.snowflake.…
■ はじめに 個人情報の扱いが厳しくなった昨今。 そこで、Snowflake におけるデータをマスキングする方法を 調べてみた。 目次 【１】ダイナミックマスキング 【２】適用方法 １）使用上の注意 【３】サンプル 例１：Hello world 例２：条件付きのマスキング…
■ はじめに Snowflake の レプリケーション (Replication) について扱う。 なお、レプリケーション 自体については、 以下の関連記事を参照のこと 【DB】 レプリケーション https://dk521123.hatenablog.com/entry/2014/03/09/000100 目次 【０】公式ドキュ…
■ はじめに SQLで個人情報保護のためのマスキングを実装する 可能性がでてきたので、予習。 なお、実行環境は、PostgreSQL。 目次 【１】電話番号をマスキング 【２】Emailをマスキング 【１】電話番号をマスキング -- 出力結果：01-2345-**** SELECT RPAD(S…
■ はじめに Snowflake の 文字列操作関連 の関数を少しづつ書いていく。 目次 【１】RPAD / LPAD 【２】SUBSTR / SUBSTRING 【３】LEN / LENGTH 【４】REPLACE 【５】CHARINDEX 【６】SPLIT_PART 【１】RPAD / LPAD * RPAD = Right PADding? / Left PADding …
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 の続き。 Snowflakeで実行に失敗した場合、 再度実行するのに、冪等性（べきとうせい）を保ちたい。 で、Data Unload する際に、前の実行結果を削除するために 使用する Removeコマンド…
■ はじめに Snowflake の Table定義 (具体的には default値を変更) を変更する 必要ができたので、予習をしておく。 => 調べた結果、SnowflakeのALTER TABLEでは、 default値を変更は対象外だった、、、（後述参照） => OR REPLACE 使ってお茶を濁そうかなっ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/06/17/113003 の続き。 上記で、Snowflakeに 日時について扱ったが、 current_date() / sysdate() で結構、色々ハマったので、 復習も兼ねて情報を整理する。 目次 【１】現在日時を返す関数 １）CUR…
■ はじめに いまさらだが、Snowflake の ステージ (Stage) を取り扱う 目次 【１】ステージ (Stage) １）内部ステージ ２）外部ステージ 【２】ステージに関する主なSQL文 １）CREATE IF NOT EXISTS ２）CREATE OR REPLACE ３）SELECT ４）COPY INTO - SELEC…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2022/08/18/120935 で、Snowflakeの権限周りのトラブルについて扱ったが、 今後も同じようなトラブルがありそうで、 その際に原因を調べるため…
■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の２ケースについて、あげておく。 目次 【１】例１：エラー「Table does not exist or not authorized」時の対応 １）トラブル概要 ２）エラー内容 ３）原因 ４）解決案 【２】例２：…
■ はじめに 小ネタ。 Snowflakeにおいて、開発環境のテーブル定義が古かったが、 DDLが管理されてなかった。 そのため、Snowflake でテーブルをExportするやり方を調べた。 今後も使いそうだし、 テーブル以外にもFile Formatなどにも使えるので メモってお…
■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【１】エラー内…
■ はじめに Snowflake の Merge Into について扱う。 目次 【１】Merge Into 【２】構文 【３】使用上の注意 【４】サンプル 例１：Hello world 例２：INSERT OR UPDATE 【１】Merge Into * 2番目のテーブルまたはサブクエリの値に基づいて、 テーブルの値を…
■ はじめに Snowflake で File Format (ファイルフォーマット) を 扱うことになったので、メモしておく 目次 【１】CREATE FILE FORMAT １）サンプル ２）補足：一時的なファイルフォーマットについて 【２】確認 方法１）SHOW FILE FORMATS 方法２）DESCRIB…
