Snowflake
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 で行ったSnowflakeのデータ アンロード で、 使用していて、ちょこちょこ気になることが出てきたので まとめておく。 目次 【０】公式ドキュメント「データのアンロードに関する考慮事…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 で、Snowflake の データロードについて扱ったが、 今回は、業務でデータアンロード について扱いそうなので 復習も兼ねて、まとめておく。 目次 【１】アンロード（Unload）とは？ 【…
■ はじめに Snowflakeのストレージ統合（Storage Integration）について 予習をする 目次 【１】ストレージ統合（Storage Integration） 【２】利点 【３】基本操作 １）ストレージ統合作成 - CREATE STORAGE INTEGRATION - ２）ストレージ統合確認 - DESC I…
■ はじめに Snowflake の generator() ってメソッドで、 テストデータを簡単に作れるって聞いたので調べてみた。 調べてみて generator() だけでなく、 他のメソッドと組み合わせる必要があるので、それらもまとめてみる。 Snowflakeに関して、調べてみたも…
■ はじめに Snowflake の 日時（日付、時刻含む）について 少しづつだが、まとめておく。 目次 【１】日時（日付、時刻含む）のデータ型 【２】現在日時を返す関数 【３】日時（日付、時刻含む）の変換 １）キャスト ２）DATE_FROM_PARTS関数 【４】日時の計…
■ はじめに Snowflakeのデータ取り込みで、 重複データの調査を依頼されたのでメモ。 目次 【０】お題 補足：単純にそのデータがユニークどうか調べる場合 【１】関連するSQL １）GROUP BY ２）HAVING ３）自己相関サブクエリ ４）DISTINCT 【２】サンプル …
■ はじめに 小ネタ。 AWS GlueからSnowflakeにクエリを実行した際に エラーになった時の解析について、学んだのでメモしておく 目次 【１】プログラムなどから実行した際の解析方法 【２】Tips 【３】使用上の注意点 １）保持期間は過去14日間 ２）リロード…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/16/231010 で、アクセス制御で少し触れた GRANT OWNERSHIP を使って 所有者の変更したので、メモしておく 目次 【１】GRANT OWNERSHIP １）オプション「[ REVOKE | COPY ] CURRENT GRANTS」 補足…
■ はじめに Snowflake で、「show users」や「show roles」 などを 使ったので、メモしておく。 ついでに、DESCRIBE に関してもメモ。 目次 【１】SHOW <オブジェクト> １）SHOW USERS ２）SHOW ROLES ３）SHOW GRANTS ４）SHOW TABLES 【２】DESCRIBE <オブ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 で少し触れているのだが、 エラー「Failed to cast variant value "" to TIMESTAMP_NTZ」などの 例外が発生したので、その際に行った対応策をメモしておく。 目次 【１】現象詳細 １）…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 の続き。 データ型で「VARIANT」とかでてきたので 今回は、Snowflakeのデータ型について、扱う。 目次 【０】Snowflake で扱うデータ型 １）サポートされていないデータ型 【１】数値デ…
■ はじめに Snowflake における データ型 の キャスト（Cast）について扱う 目次 【０】Snowflakeのキャストの仕方 【１】CAST 【２】:: 演算子 【３】TO_ データ型 【４】TRY_CAST 【５】TRY_TO_ データ型 【０】Snowflakeのキャストの仕方 snowflake での…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake の特徴の一つでもある「ゼロ コピー クローン」について扱う。 目次 【１】ゼロコピークローン 【２】構…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 の続き。 既に出来合いのシステムの Snowflake を触りだしたのだが、 やっぱり、ちゃんと学びたいと思った。 Snowflakeは、30日間無料トライアルでの使用があるので 基本的な操作をメモ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 今回は、Snowflake の ロールや権限などのアクセス制御…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake を触わる機会があった。 主に、データロードまでやったのだが そこにいきつくまでに、色々なことを学べ…
■ はじめに Snowflake (スノーフレイク) を扱うことになったのでメモ。 目次 【１】Snowflake 【２】特徴 【３】構成 / アーキテクチャ １）ストレージ層 - Storage ２）コンピューティング層 - Compute ３）サービス層 - Services 【４】キャッシュ １）ク…
【１】LIMIT * 出力する行数を制限する * PostgreSQL や Snowflake でも使えるみたい 【２】構文 SELECT [項目1] (, ...) FROM [テーブル名] LIMIT ([開始位置（行数],) 取得する行数 【３】サンプル SELECT * FROM user LIMIT 5 １）出力結果 "1" "1" "Kim"…
