■ はじめに

Snowflakeのストレージ統合（Storage Integration）について
予習をする

【１】ストレージ統合（Storage Integration）
【２】利点
【３】基本操作
　１）ストレージ統合作成
　２）ストレージ統合確認
　３）ストレージ統合の一覧表示
【４】権限付与
【５】その他の操作
　１）ストレージ統合の変更
【６】アクセスエラーについて

【１】ストレージ統合（Storage Integration）

https://docs.snowflake.com/ja/sql-reference/sql/create-storage-integration.html

より抜粋
~~~~~
外部クラウドストレージ用に生成されたIDおよび
アクセス管理（IAM）エンティティを許可またはブロックされたストレージの場所
（Amazon S3、Google Cloud Storage、またはMicrosoft Azure）の
オプションセットとともに格納するSnowflakeオブジェクト
~~~~~
 => 分かりづれ、、、
 => クラウドストレージ（S3/Google Cloud Storage/Microsoft Azure）と
　　Snowflakeとを接続するためのオブジェクト
 => クラウドストレージにアクセスする際には、
　　この「ストレージ統合」を経由して、接続する

【２】利点

１）ステージの作成時/データのロードまたはアンロード時に
　　認証情報の提供を回避できる
 => データのロードまたはアンロードについては、
　　以下の関連記事を参照のこと

Snowflake ～基本編 / データロード～
https://dk521123.hatenablog.com/entry/2021/11/15/221245
Snowflake ～データアンロード～
https://dk521123.hatenablog.com/entry/2022/07/04/172738

【３】基本操作

１）ストレージ統合作成

https://docs.snowflake.com/ja/sql-reference/sql/create-storage-integration.html

-- AWS/S3の場合
CREATE STORAGE INTEGRATION 【ストレージ統合名】
    TYPE = EXTERNAL_STAGE
    STORAGE_PROVIDER = S3
    ENABLED = TRUE
    STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::【S3のAWSアカウントID】:role/【ロール名】'
    STORAGE_ALLOWED_LOCATIONS = ('s3://【S3のバケット名】/【パス】/')
;

STORAGE_AWS_ROLE_ARN

* S3バケットに対する権限を付与するIAMロールのARN

STORAGE_ALLOWED_LOCATIONS

* ストレージの場所（S3バケットなど。複数指定可能）

補足：実際にAWS S3に接続する場合
https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration.html

より抜粋
~~~~~~~~~~~~~~~~~
ステップ1：S3バケットのアクセス許可を構成する
ステップ2： IAM AWS ロールを作成する
ステップ3：Snowflakeでクラウドストレージ統合を作成する
ステップ4：Snowflakeアカウントの AWS IAM ユーザーを取得する
ステップ5：バケットオブジェクトにアクセスするために IAM ユーザー権限を付与する
ステップ6：外部ステージを作成する
~~~~~~~~~~~~~~~~~

詳細は、下記の公式ドキュメントを一読した方がいいかも。

https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration.html

２）ストレージ統合確認

https://docs.snowflake.com/ja/sql-reference/sql/desc-integration.html

DESC INTEGRATION 【ストレージ統合名】;

補足

* アクセス制限がどのようにされているかが確認できる

#	PROPERTY	Value例	メモ
1	ENABLED	true	有効・無効
2	STORAGE_PROOVIDER	s3	ストレージ種類
3	STORAGE_ALLOWED_LOCATIONS	s3://your-bucket	許可しているパス
4	STORAGE_VLOCKED_LOCATIONS		ブロックしているパス
5	STORAGE_AWS_IAM_USER_ARN	arn:aws:iam::xxxx:user/xxxx	Snowflakeアカウント用に作成された AWS IAM ユーザ
6	STORAGE_AWS_ROLE_ARN	arn:aws:iam::xxxxx:role/myrole	S3バケットに対する権限を付与するIAMロールのARN
7	STORAGE_AWS_EXTERNAL_ID	MYACCOUNT_SFCRole=xxx/xxxx	信頼関係を確立するために必要な外部 ID

https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration.html

３）ストレージ統合の一覧表示

https://docs.snowflake.com/ja/sql-reference/sql/show-integrations.html

SHOW INTEGRATIONS;

SHOW INTEGRATIONS LIKE '【絞り込みたいパターン】' ;
-- SHOW INTEGRATIONS LIKE 'demo%'

【４】権限付与

-- 使用権限付与
GRANT USAGE
  ON INTEGRATION <your_integration_name>
  TO ROLE <your_role>;

-- 所有権付与
GRANT OWNERSHIP
   ON INTEGRATION <your_integration_name>
  TO ROLE <your_owner_role>
  COPY CURRENT GRANTS;

https://docs.snowflake.com/ja/sql-reference/sql/grant-privilege.html
https://docs.snowflake.com/ja/sql-reference/sql/grant-ownership.html

【５】その他の操作

１）ストレージ統合の変更

例１：ストレージ統合を有効にする

-- alter storage integration <your_integ> set <item> = <value>;
alter storage integration myint set enabled = true;

https://docs.snowflake.com/ja/sql-reference/sql/alter-storage-integration.html

例２：アクセスできるS3バケットを複数にする

ALTER STORAGE INTEGRATION
  your_integ
SET
  -- ( ) で 配列を表現
  STORAGE_ALLOWED_LOCATIONS = ('s3://your-bucket-name1/', 's3://your-bucket-name2/');

【６】アクセスエラーについて

* 以下の関連記事を参照のこと

エラー「Failure using stage area. ... AccessDenied」時の対応
https://dk521123.hatenablog.com/entry/2022/10/27/195547

参考文献

https://dev.classmethod.jp/articles/snowflake-s3-integration-by-cfn/
https://blog.serverworks.co.jp/snowflake-import-from-s3
https://dmscube.com/view/post/0/38558

プログラムの超個人的なメモ

Memo for Programming.

【Snowflake】Snowflake ～ストレージ統合～