■ はじめに

Snowflakeのストレージ統合（Storage Integration）について
予習をする

【１】ストレージ統合（Storage Integration）
【２】利点
【３】基本操作
　１）ストレージ統合作成 - CREATE STORAGE INTEGRATION -
　２）ストレージ統合確認 - DESC INTEGRATION -
　３）ストレージ統合の一覧表示 - SHOW INTEGRATIONS -
　４）使用例
【４】権限操作
　１）権限付与
　２）権限確認
【５】その他の操作
　１）ストレージ統合の変更
【６】アクセスエラーについて

【１】ストレージ統合（Storage Integration）

https://docs.snowflake.com/ja/sql-reference/sql/create-storage-integration.html

より抜粋
~~~~~
外部クラウドストレージ用に生成されたIDおよび
アクセス管理（IAM）エンティティを許可またはブロックされたストレージの場所
（Amazon S3、Google Cloud Storage、またはMicrosoft Azure）の
オプションセットとともに格納するSnowflakeオブジェクト
~~~~~
 => 分かりづれ、、、
 => クラウドストレージ（S3/Google Cloud Storage/Microsoft Azure）と
　　Snowflakeとを接続するためのオブジェクト
 => クラウドストレージにアクセスする際には、
　　この「ストレージ統合」を経由して、接続する

【２】利点

１）ステージの作成時/データのロードまたはアンロード時に
　　認証情報の提供を回避できる
 => データのロードまたはアンロードについては、
　　以下の関連記事を参照のこと

Snowflake ～基本編 / データロード～
https://dk521123.hatenablog.com/entry/2021/11/15/221245
Snowflake ～データアンロード～
https://dk521123.hatenablog.com/entry/2022/07/04/172738

【３】基本操作

* 詳細な手順は、以下の関連記事を参照のこと

Snowflake ～ストレージ統合の作成手順～
https://dk521123.hatenablog.com/entry/2023/07/27/000000

１）ストレージ統合作成 - CREATE STORAGE INTEGRATION -

https://docs.snowflake.com/ja/sql-reference/sql/create-storage-integration.html

-- AWS/S3の場合
CREATE STORAGE INTEGRATION 【ストレージ統合名 (e.g. demo_integration)】
    TYPE = EXTERNAL_STAGE
    STORAGE_PROVIDER = S3
    ENABLED = TRUE
    STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::【S3のAWSアカウントID】:role/【ロール名】'
    STORAGE_ALLOWED_LOCATIONS = ('s3://【S3のバケット名】/【パス】/')
;

STORAGE_AWS_ROLE_ARN

* S3バケットに対する権限を付与するIAMロールのARN

STORAGE_ALLOWED_LOCATIONS

* ストレージの場所（S3バケットなど。複数指定可能）

２）ストレージ統合確認 - DESC INTEGRATION -

https://docs.snowflake.com/ja/sql-reference/sql/desc-integration.html

DESC INTEGRATION 【ストレージ統合名 (e.g. demo_integration)】;

補足

* アクセス制限がどのようにされているかが確認できる

#	PROPERTY	Value例	メモ
1	ENABLED	true	有効・無効
2	STORAGE_PROOVIDER	s3	ストレージ種類
3	STORAGE_ALLOWED_LOCATIONS	s3://your-bucket	許可しているパス
4	STORAGE_VLOCKED_LOCATIONS		ブロックしているパス
5	STORAGE_AWS_IAM_USER_ARN	arn:aws:iam::xxxx:user/xxxx	Snowflakeアカウント用に作成された AWS IAM ユーザ
6	STORAGE_AWS_ROLE_ARN	arn:aws:iam::xxxxx:role/myrole	S3バケットに対する権限を付与するIAMロールのARN
7	STORAGE_AWS_EXTERNAL_ID	MYACCOUNT_SFCRole=xxx/xxxx	信頼関係を確立するために必要な外部 ID

https://docs.snowflake.com/ja/user-guide/data-load-s3-config-storage-integration.html

３）ストレージ統合の一覧表示 - SHOW INTEGRATIONS -

https://docs.snowflake.com/ja/sql-reference/sql/show-integrations.html

SHOW INTEGRATIONS;

SHOW INTEGRATIONS LIKE '【絞り込みたいパターン】' ;
-- SHOW INTEGRATIONS LIKE 'demo%'

４）使用例

USE DATABASE test_db;
USE SCHEMA test_schema;

CREATE TEMPORARY STAGE IF NOT EXISTS test_stage
  URL = 's3://your-s3-bucket-name/'
  FILE_FORMAT = (TYPE = CSV)
  STORAGE_INTEGRATION = demo_integration -- ★注目★
;

SELECT
  $1:user_id,
  $1:user_name
FROM
  @test_stage;

【４】権限操作

１）権限付与

-- 使用権限付与
GRANT USAGE
  ON INTEGRATION <your_integration_name>
  TO ROLE <your_role>;

-- 所有権付与
GRANT OWNERSHIP
   ON INTEGRATION <your_integration_name>
  TO ROLE <your_owner_role>
  COPY CURRENT GRANTS;

https://docs.snowflake.com/ja/sql-reference/sql/grant-privilege.html
https://docs.snowflake.com/ja/sql-reference/sql/grant-ownership.html

２）権限確認

SHOW GRANTS ON INTEGRATION <your_integration_name>;

https://docs.snowflake.com/en/sql-reference/sql/show-grants

【５】その他の操作

１）ストレージ統合の変更

例１：ストレージ統合を有効にする

-- alter storage integration <your_integ> set <item> = <value>;
alter storage integration myint set enabled = true;

https://docs.snowflake.com/ja/sql-reference/sql/alter-storage-integration.html

例２：アクセスできるS3バケットを複数にする

ALTER STORAGE INTEGRATION
  your_integ
SET
  -- ( ) で 配列を表現
  STORAGE_ALLOWED_LOCATIONS = ('s3://your-bucket-name1/', 's3://your-bucket-name2/');

例３：コメント追加

ALTER STORAGE INTEGRATION
  your_integ
SET
  COMMENT = "This is for sample...";

【６】アクセスエラーについて

* 以下の関連記事を参照のこと

エラー「Failure using stage area. ... AccessDenied」時の対応
https://dk521123.hatenablog.com/entry/2022/10/27/195547

参考文献

https://dev.classmethod.jp/articles/snowflake-s3-integration-by-cfn/
https://blog.serverworks.co.jp/snowflake-import-from-s3
https://dmscube.com/view/post/0/38558

プログラムの超個人的なメモ

Memo for Programming.

【Snowflake】Snowflake ～ストレージ統合～