2022-10-01から1ヶ月間の記事一覧
■ はじめに パーティション (Partition) のようなパス構成 （e.g. s3://your-s3-bucket/test/demo/date=20221028/）のデータを Snowflake で取り込む必要がでてきそうだったので その方法についてまとめる。 後日談 * 色々調べてみると、同じようなことを公…
■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】解決案 【１】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…
■ はじめに https://dk521123.hatenablog.com/entry/2022/02/24/231532 を分冊。 SnowflakeのDBアクセス権限に関する調査において、 「SHOW GRANTS TO USER <user_name>」や 「SHOW GRANTS TO ROLE <role_name>」を使った。 個人的に結構よく使うので、まとめておく。 目次 【０】S</role_name></user_name>…
■ はじめに https://dk521123.hatenablog.com/entry/2022/10/07/102337 https://dk521123.hatenablog.com/entry/2022/10/02/000000 で、データマスクについて扱ったが、 データの種類が多くなってきたら、こんなチマチマやってられないし 国ごとに法律が違く…
■ はじめに https://dk521123.hatenablog.com/entry/2017/08/08/224300 の続き。 今回は、SOCKS プロキシってのがでてきたのでメモ。 目次 【１】SOCKS / SOCKS Proxy １）HTTPプロキシとの違い ２）利点 ３）欠点 【２】用途 【３】SOCKSバージョン １）SOC…
■ はじめに https://dk521123.hatenablog.com/entry/2022/06/09/174851 で、シングルサインオンのSAMLは以前取り扱ったが、 IDフェデレーションがどんなものか 理解があやふやになってきたので、メモする # 調べて余計わけわからなくなったことは否めないが …
■ はじめに Snowflake の View を調べたので、メモっとく。 目次 【１】View 【２】関連するSQL文 １）CREATE VIEW 【３】その他コマンド １）SHOW VIEWS ２）DESCRIBE VIEW 【４】おまけ：Secure View １）使用上の注意 【１】View https://docs.snowflake.…
■ はじめに https://dk521123.hatenablog.com/entry/2022/10/05/095506 で、HMACについて扱ったので、 今回は、Pythonで実装してみる。 目次 【１】Python での HMAC の実装 【２】サンプル 【１】Python での HMAC の実装 * すでに標準で以下のHMACライブラ…
■ はじめに 個人情報の扱いが厳しくなった昨今。 そこで、Snowflake におけるデータをマスキングする方法を 調べてみた。 目次 【１】ダイナミックマスキング 【２】適用方法 １）使用上の注意 【３】サンプル 例１：Hello world 例２：条件付きのマスキング…
■ はじめに Snowflake の レプリケーション (Replication) について扱う。 なお、レプリケーション 自体については、 以下の関連記事を参照のこと 【DB】 レプリケーション https://dk521123.hatenablog.com/entry/2014/03/09/000100 目次 【０】公式ドキュ…
■ はじめに 仕事で、HMACなるものがでてきたので調べてみた。 軽く書いて終わらせるつもりだったが、 内容がかなりの量になり、かつ、勉強になった。 目次 【１】MAC １）入力値 ２）MACを使った認証の流れ ３）一方向ハッシュ関数との違い 【２】HMAC 【３…
■ はじめに 久しぶりに、Pythonネタ。 dataclasses ってのがでてきたので、メモ。 目次 【１】dataclasses １）従来のクラスとの比較 【２】使用上の注意 【３】サンプル 例１：List があるプロパティの場合 例２：メソッド付きクラス 【１】dataclasses * …
■ はじめに SQLで個人情報保護のためのマスキングを実装する 可能性がでてきたので、予習。 なお、実行環境は、PostgreSQL。 目次 【１】電話番号をマスキング 【２】Emailをマスキング 【１】電話番号をマスキング -- 出力結果：01-2345-**** SELECT RPAD(S…
■ はじめに Snowflake の 文字列操作関連 の関数を少しづつ書いていく。 目次 【１】RPAD / LPAD 【２】SUBSTR / SUBSTRING 【３】LEN / LENGTH 【４】REPLACE 【５】CHARINDEX 【６】SPLIT_PART 【１】RPAD / LPAD * RPAD = Right PADding? / Left PADding …
