■ はじめに

Snowflake (スノーフレイク) を扱うことになったのでメモ。

【１】Snowflake
【２】特徴
【３】構成 / アーキテクチャ
　１）ストレージ層 - Storage
　２）コンピューティング層 - Compute
　３）サービス層 - Services
【４】キャッシュ
　１）クエリリザルトキャッシュ
　２）メタデータキャッシュ
　３）ウェアハウスキャッシュ
【５】関連用語
　１）ステージ (Stage)
　２）ウェアハウス(Warehouse)
　３）SnowSQL
　４）クレジット（Snowflake credit）

【１】Snowflake

* Snowflake社が提供するクラウドベースの分析用データウェアハウス

 => AWS でいう「Redshift」
　（Redshiftについては、以下の関連記事を参照のこと。）
 => Snowflake社は、Oracle出身のデータアーキテクト達が
　　2012年に米国で創業した会社

https://dk521123.hatenablog.com/entry/2020/02/22/002139

※ データウェアハウス（DWH：Data WareHouse）

* 以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2020/02/22/002139

【２】特徴

* マルチクラウドプラットフォーム(AWS/Azure/GCP)に対応
* 料金体系：従量課金制

【３】構成 / アーキテクチャ

* Snowflake は、以下のような３層設計

１）ストレージ層 - Storage
２）コンピューティング層 - Compute
３）サービス層 - Services

１）ストレージ層 - Storage

* Snowflakeが保持しているデータが置かれているレイヤ

２）コンピューティング層 - Compute

* データ処理(クエリ)を実行する

３）サービス層 - Services

* Snowflakeの各種管理を担当する

[1] セキュリティ機能
[2] ユーザセッションの認証
[3] メタデータ管理
[4] SQL最適化
[5] トランザクション管理

【４】キャッシュ

https://dev.classmethod.jp/articles/snowflake-cache-three/

１）クエリリザルトキャッシュ

* 再利用できるクエリ結果をキャッシュ

２）メタデータキャッシュ

* メタデータ(行数, Max/Min etc)をキャッシュとして使う

３）ウェアハウスキャッシュ

* データのキャッシュ

【５】関連用語

１）ステージ (Stage)

* ファイルからデータをロードする際に、そのファイルを置く場所
 => 詳細は、以下の関連記事を参照のこと。

Snowflake ～基本編 / ステージ～
https://dk521123.hatenablog.com/entry/2022/09/01/220643

２）ウェアハウス(Warehouse)

* コンピューティング のこと
* サイズを持っている。
 => 以下の関連記事も参照のこと。

Snowflake ～ウェアハウス / Warehouse ～
https://dk521123.hatenablog.com/entry/2022/12/04/000000

３）SnowSQL

* Snowflake用のCLI Client

https://docs.snowflake.com/ja/user-guide/snowsql.html

４）クレジット（Snowflake credit）

https://docs.snowflake.com/ja/user-guide/what-are-credits.html

より抜粋
~~~~~~~~~~~~
Snowflakeクレジットは、Snowflakeのリソースの消費に対する支払いに使用されます。
Snowflakeクレジットは測定単位であり、
仮想ウェアハウスの実行中、クラウドサービスレイヤーの作業中、サーバーレス機能の使用時など、
顧客がリソースを使用している場合にのみ消費されます。
~~~~~~~~~~~~

参考文献

https://macro-send.com/blog/snowflake
https://dev.classmethod.jp/articles/snowflake-architecture-keyconcepts/
https://dev.classmethod.jp/articles/about-snowflake-internal-stages/
https://qiita.com/foursue/items/327dbd5dbbe6084a1f32

プログラムの超個人的なメモ

Memo for Programming.

【Snowflake】Snowflake ～基礎知識編～

■ はじめに

目次

【１】Snowflake

【２】特徴

【３】構成 / アーキテクチャ

１）ストレージ層 - Storage

２）コンピューティング層 - Compute

３）サービス層 - Services

【４】キャッシュ

１）クエリリザルトキャッシュ

２）メタデータキャッシュ

３）ウェアハウスキャッシュ

【５】関連用語

１）ステージ (Stage)

２）ウェアハウス(Warehouse)

３）SnowSQL

４）クレジット（Snowflake credit）

参考文献

関連記事