2022-10-01から1ヶ月間の記事一覧

【Snowflake】Snowflake ~ Partition構成のデータを取り込む ~

■ はじめに パーティション (Partition) のようなパス構成 (e.g. s3://your-s3-bucket/test/demo/date=20221028/)のデータを Snowflake で取り込む必要がでてきそうだったので その方法についてまとめる。 後日談 * 色々調べてみると、同じようなことを公…

【Snowflake】【トラブル】エラー「Failure using stage area. ... AccessDenied」時の対応

■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【1】トラブル概要 【2】エラー内容 【3】原因 【4】解決案 【1】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…

【Snowflake】Snowflake ~ SHOW GRANT ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/02/24/231532 を分冊。 SnowflakeのDBアクセス権限に関する調査において、 「SHOW GRANTS TO USER <user_name>」や 「SHOW GRANTS TO ROLE <role_name>」を使った。 個人的に結構よく使うので、まとめておく。 目次 【0】S</role_name></user_name>…

【Immuta】Immuta ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/07/102337 https://dk521123.hatenablog.com/entry/2022/10/02/000000 で、データマスクについて扱ったが、 データの種類が多くなってきたら、こんなチマチマやってられないし 国ごとに法律が違く…

【ネットワーク】SOCKS / SOCKS Proxy

■ はじめに https://dk521123.hatenablog.com/entry/2017/08/08/224300 の続き。 今回は、SOCKS プロキシってのがでてきたのでメモ。 目次 【1】SOCKS / SOCKS Proxy 1)HTTPプロキシとの違い 2)利点 3)欠点 【2】用途 【3】SOCKSバージョン 1)SOC…

IDフェデレーション

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/09/174851 で、シングルサインオンのSAMLは以前取り扱ったが、 IDフェデレーションがどんなものか 理解があやふやになってきたので、メモする # 調べて余計わけわからなくなったことは否めないが …

【Snowflake】Snowflake ~ 基本編 / View ~

■ はじめに Snowflake の View を調べたので、メモっとく。 目次 【1】View 【2】関連するSQL文 1)CREATE VIEW 【3】その他コマンド 1)SHOW VIEWS 2)DESCRIBE VIEW 【4】おまけ:Secure View 1)使用上の注意 【1】View https://docs.snowflake.…

【Python】Python ~ HMAC ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/05/095506 で、HMACについて扱ったので、 今回は、Pythonで実装してみる。 目次 【1】Python での HMAC の実装 【2】サンプル 【1】Python での HMAC の実装 * すでに標準で以下のHMACライブラ…

【Snowflake】Snowflake ~ Dynamic masking ~

■ はじめに 個人情報の扱いが厳しくなった昨今。 そこで、Snowflake におけるデータをマスキングする方法を 調べてみた。 目次 【1】ダイナミックマスキング 【2】適用方法 1)使用上の注意 【3】サンプル 例1:Hello world 例2:条件付きのマスキング…

【Snowflake】Snowflake ~ Replication ~

■ はじめに Snowflake の レプリケーション (Replication) について扱う。 なお、レプリケーション 自体については、 以下の関連記事を参照のこと 【DB】 レプリケーション https://dk521123.hatenablog.com/entry/2014/03/09/000100 目次 【0】公式ドキュ…

【セキュリティ】メッセージ認証コード ~ MAC / HMAC ~

■ はじめに 仕事で、HMACなるものがでてきたので調べてみた。 軽く書いて終わらせるつもりだったが、 内容がかなりの量になり、かつ、勉強になった。 目次 【1】MAC 1)入力値 2)MACを使った認証の流れ 3)一方向ハッシュ関数との違い 【2】HMAC 【3…

【Python】Python ~ dataclasses / データクラス ~

■ はじめに 久しぶりに、Pythonネタ。 dataclasses ってのがでてきたので、メモ。 目次 【1】dataclasses 1)従来のクラスとの比較 【2】使用上の注意 【3】サンプル 例1:List があるプロパティの場合 例2:メソッド付きクラス 【1】dataclasses * …

【SQL】SQLでマスキングを実装

■ はじめに SQLで個人情報保護のためのマスキングを実装する 可能性がでてきたので、予習。 なお、実行環境は、PostgreSQL。 目次 【0】Tips 1)RPAD / LPAD 【1】電話番号をマスキング 【2】Emailをマスキング 【0】Tips * 使用した文字列関数で、 Sno…

【Snowflake】Snowflake ~ 文字列操作関連 ~

■ はじめに Snowflake の 文字列操作関連 の関数を少しづつ書いていく。 目次 【1】RPAD / LPAD 【2】SUBSTR / SUBSTRING 【3】LEN / LENGTH 【4】REPLACE 【5】CHARINDEX 【6】SPLIT_PART 【7】POSITION 【1】RPAD / LPAD * RPAD = Right PADding? …