■ はじめに https://dk521123.hatenablog.com/entry/2011/01/07/012520 の続き。 「２）オブジェクト作成系」を掘り下げる 目次 【１】createElement() 【２】createTextNode() 【１】createElement() * 指定タグでの要素のオブジェクト作成 １）サンプル 例…

■ はじめに 久しぶりにAWS Glue に関するトラブルシューティング。 本件以外のAWS Glue に関するトラブルは関連記事を参照のこと。 【１】エラー概要 AWS Glue Jobを起動した際に、以下「エラー内容」が表示された。 指定されているパス （今回の場合「s3://…

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/15/120536 で、Azure の Storage に対して、ファイルアップロードをしたが エラーになった。 その切り分けのために、Azure版AWS CLIみたいなのを知ったのでメモ。 (Azureやっている人には、大した…

■ はじめに 念のために、Snowflakeの既存のテーブルをバックアップとる って作業が発生しそうなので、簡単な方法でできないか調べてみた => 結論としては、原始的にSQLでやることになりそうだが その経過で調べた「CREATE CLONE」についても触れる => あと、…

■ はじめに ユーザ操作について、 今までコマンド実行は知っていて使っていたのだが、 Web UIでのGUI操作（DROPなど）があるのを 知ったのでメモ。 目次 【１】コマンド操作 １）SHOW ROLES/USERS ２）DESCRIBE USER 【２】GUI操作 １）ユーザ削除の場合 ２…

■ はじめに 小ネタ。 JavaScriptで、 ゼロ埋め（ゼロパディング；zero padding）する方法をメモ。 目次 【０】WebでのJavaScriptの実行 【１】padStart()を使った方法 【２】slice()を使った方法 【０】WebでのJavaScriptの実行 https://paiza.io/projects/2…

■ はじめに パーティション (Partition) のようなパス構成 （e.g. s3://your-s3-bucket/test/demo/date=20221028/）のデータを Snowflake で取り込む必要がでてきそうだったので その方法についてまとめる。 後日談 * 色々調べてみると、同じようなことを公…

■ はじめに Snowflake で エラー「Failure using stage area. ... AccessDenied」が 発生したので、メモ。 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】解決案 【１】トラブル概要 以下の「エラーになったSQL文」を実行したところ、 以下の…

■ はじめに https://dk521123.hatenablog.com/entry/2022/02/24/231532 を分冊。 SnowflakeのDBアクセス権限に関する調査において、 「SHOW GRANTS TO USER <user_name>」や 「SHOW GRANTS TO ROLE <role_name>」を使った。 個人的に結構よく使うので、まとめておく。 目次 【０】S</role_name></user_name>…

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/07/102337 https://dk521123.hatenablog.com/entry/2022/10/02/000000 で、データマスクについて扱ったが、 データの種類が多くなってきたら、こんなチマチマやってられないし 国ごとに法律が違く…

■ はじめに https://dk521123.hatenablog.com/entry/2017/08/08/224300 の続き。 今回は、SOCKS プロキシってのがでてきたのでメモ。 目次 【１】SOCKS / SOCKS Proxy １）HTTPプロキシとの違い ２）利点 ３）欠点 【２】用途 【３】SOCKSバージョン １）SOC…

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/09/174851 で、シングルサインオンのSAMLは以前取り扱ったが、 IDフェデレーションがどんなものか 理解があやふやになってきたので、メモする # 調べて余計わけわからなくなったことは否めないが …

■ はじめに Snowflake の View を調べたので、メモっとく。 目次 【１】View 【２】関連するSQL文 １）CREATE VIEW 【３】その他コマンド １）SHOW VIEWS ２）DESCRIBE VIEW 【４】おまけ：Secure View １）使用上の注意 【１】View https://docs.snowflake.…

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/05/095506 で、HMACについて扱ったので、 今回は、Pythonで実装してみる。 目次 【１】Python での HMAC の実装 【２】サンプル 【１】Python での HMAC の実装 * すでに標準で以下のHMACライブラ…

■ はじめに 個人情報の扱いが厳しくなった昨今。 そこで、Snowflake におけるデータをマスキングする方法を 調べてみた。 目次 【１】ダイナミックマスキング 【２】適用方法 １）使用上の注意 【３】サンプル 例１：Hello world 例２：条件付きのマスキング…

■ はじめに Snowflake の レプリケーション (Replication) について扱う。 なお、レプリケーション 自体については、 以下の関連記事を参照のこと 【DB】 レプリケーション https://dk521123.hatenablog.com/entry/2014/03/09/000100 目次 【０】公式ドキュ…

■ はじめに 仕事で、HMACなるものがでてきたので調べてみた。 軽く書いて終わらせるつもりだったが、 内容がかなりの量になり、かつ、勉強になった。 目次 【１】MAC １）入力値 ２）MACを使った認証の流れ ３）一方向ハッシュ関数との違い 【２】HMAC 【３…

■ はじめに 久しぶりに、Pythonネタ。 dataclasses ってのがでてきたので、メモ。 目次 【１】dataclasses １）従来のクラスとの比較 【２】使用上の注意 【３】サンプル 例１：List があるプロパティの場合 例２：メソッド付きクラス 【１】dataclasses * …

■ はじめに SQLで個人情報保護のためのマスキングを実装する 可能性がでてきたので、予習。 なお、実行環境は、PostgreSQL。 目次 【１】電話番号をマスキング 【２】Emailをマスキング 【１】電話番号をマスキング -- 出力結果：01-2345-**** SELECT RPAD(S…

■ はじめに Snowflake の 文字列操作関連 の関数を少しづつ書いていく。 目次 【１】RPAD / LPAD 【２】SUBSTR / SUBSTRING 【３】LEN / LENGTH 【４】REPLACE 【５】CHARINDEX 【６】SPLIT_PART 【１】RPAD / LPAD * RPAD = Right PADding? / Left PADding …

■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 （全部は多すぎるので、Pythonと使用しそうなものに…

■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【１】トラブル概要 １）似たようなトラブル：pulumi stack selectをした際にエラー 【２】エラー内容 【３】原因 …

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 の続き。 Snowflakeで実行に失敗した場合、 再度実行するのに、冪等性（べきとうせい）を保ちたい。 で、Data Unload する際に、前の実行結果を削除するために 使用する Removeコマンド…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/15/231202 の続き。 自信がないけど、プルリクをだしたい時のお作法について学ぶ。 目次 【１】Draft Pull Request １）プルリクの出し方 【２】使用上の注意 【３】Draft PR あれこれ １）プルリ…

■ はじめに ハッシュについてまとめる。 目次 【１】ハッシュ 【２】特徴 【３】用途 【４】使用上の注意 【５】主なハッシュアルゴリズム 【１】ハッシュ * あるデータをハッシュ関数という特別な関数を使うと、 決まった長さのビット列になる、この値を「…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…

■ はじめに Snowflake の Table定義 (具体的には default値を変更) を変更する 必要ができたので、予習をしておく。 => 調べた結果、SnowflakeのALTER TABLEでは、 default値を変更は対象外だった、、、（後述参照） => OR REPLACE 使ってお茶を濁そうかなっ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/17/113003 の続き。 上記で、Snowflakeに 日時について扱ったが、 current_date() / sysdate() で結構、色々ハマったので、 復習も兼ねて情報を整理する。 目次 【１】現在日時を返す関数 １）CUR…

■ はじめに いまさらだが、Snowflake の ステージ (Stage) を取り扱う 目次 【１】ステージ (Stage) １）内部ステージ ２）外部ステージ 【２】ステージに関する主なSQL文 １）CREATE IF NOT EXISTS ２）CREATE OR REPLACE ３）SELECT ４）COPY INTO - SELEC…