■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 （全部は多すぎるので、Pythonと使用しそうなものに…

■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【１】トラブル概要 １）似たようなトラブル：pulumi stack selectをした際にエラー 【２】エラー内容 【３】原因 …

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 の続き。 Snowflakeで実行に失敗した場合、 再度実行するのに、冪等性（べきとうせい）を保ちたい。 で、Data Unload する際に、前の実行結果を削除するために 使用する Removeコマンド…

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/15/231202 の続き。 自信がないけど、プルリクをだしたい時のお作法について学ぶ。 目次 【１】Draft Pull Request １）プルリクの出し方 【２】使用上の注意 【３】Draft PR あれこれ １）プルリ…

■ はじめに ハッシュについてまとめる。 目次 【１】ハッシュ 【２】特徴 【３】用途 【４】使用上の注意 【５】主なハッシュアルゴリズム 【１】ハッシュ * あるデータをハッシュ関数という特別な関数を使うと、 決まった長さのビット列になる、この値を「…

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…

■ はじめに Snowflake の Table定義 (具体的には default値を変更) を変更する 必要ができたので、予習をしておく。 => 調べた結果、SnowflakeのALTER TABLEでは、 default値を変更は対象外だった、、、（後述参照） => OR REPLACE 使ってお茶を濁そうかなっ…

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/17/113003 の続き。 上記で、Snowflakeに 日時について扱ったが、 current_date() / sysdate() で結構、色々ハマったので、 復習も兼ねて情報を整理する。 目次 【１】現在日時を返す関数 １）CUR…

■ はじめに いまさらだが、Snowflake の ステージ (Stage) を取り扱う 目次 【１】ステージ (Stage) １）内部ステージ ２）外部ステージ 【２】ステージに関する主なSQL文 １）CREATE IF NOT EXISTS ２）CREATE OR REPLACE ３）SELECT ４）COPY INTO - SELEC…