【Pulumi】【トラブル】Pulumi に関するトラブル2

■ はじめに https://dk521123.hatenablog.com/entry/2022/09/27/165923 と同じようなエラーが発生したのだが、若干対応方法が変わったのと その後に別エラーメッセージが発生して、対応がかなり大変だったので 記事としてまとめておく。 # これで、多少はPul…

【AWS】AWS Glue ~ ジョブパラメータ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 (全部は多すぎるので、Pythonと使用しそうなものに…

【Pulumi】【トラブル】pulumi up --target をした際にエラー「snapshot integrity failure」が発生

■ はじめに pulumi up --target をした際に エラー「snapshot integrity failure」が発生して焦ったが どうにか解消できたので、メモ。 目次 【1】トラブル概要 1)似たようなトラブル:pulumi stack selectをした際にエラー 【2】エラー内容 【3】原因 …

【Snowflake】Snowflake ~ Removeコマンド ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 の続き。 Snowflakeで実行に失敗した場合、 再度実行するのに、冪等性(べきとうせい)を保ちたい。 で、Data Unload する際に、前の実行結果を削除するために 使用する Removeコマンド…

【AWS】AWS Glue ~ Python shell job ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…

【Snowflake】Snowflake ~ 基本編 / CREATE・ALTER TABLE ~

■ はじめに Snowflake の Table定義 (具体的には default値を変更) を変更する 必要ができたので、予習をしておく。 => 調べた結果、SnowflakeのALTER TABLEでは、 default値を変更は対象外だった、、、(後述参照) => OR REPLACE 使ってお茶を濁そうかなっ…

【Snowflake】Snowflake ~ 日時関連 / 日時取得関数 ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/17/113003 の続き。 上記で、Snowflakeに 日時について扱ったが、 current_date() / sysdate() で結構、色々ハマったので、 復習も兼ねて情報を整理する。 目次 【1】現在日時を返す関数 1)CUR…

【Snowflake】Snowflake ~ 基本編 / ステージ ~

■ はじめに いまさらだが、Snowflake の ステージ (Stage) を取り扱う 目次 【1】ステージ (Stage) 1)内部ステージ 2)外部ステージ 【2】ステージに関する主なSQL文 1)CREATE IF NOT EXISTS 2)CREATE OR REPLACE 3)SELECT 4)COPY INTO - SELEC…

【Python】Python ~ ndjson を扱う ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/19/104805 でJSONの扱いはやったが、 テストデータとして、ndjson のファイルを作る 可能性がでてきたので、予習。 目次 【0】ndjson 【1】ndjsonモジュールを使う 1)インストール 2)サンプ…

【JS】【TS】ループ操作 ~ map ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/01/03/000000 を分冊。 pulumi で TypeScript を使っているのだが、 少しでも簡潔に書きたいと思い、調べていたら 結局 map を使うことにしたので、メモしておく。 目次 【0】ブラウザ上での実行環…

【Snowflake】権限トラブル時のTips

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2022/08/18/120935 で、Snowflakeの権限周りのトラブルについて扱ったが、 今後も同じようなトラブルがありそうで、 その際に原因を調べるため…

【Snowflake】【トラブル】エラー「<Object> does not exist or not authorized」時の対応

■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の2ケースについて、あげておく。 目次 【1】例1:エラー「Table does not exist or not authorized」時の対応 1)トラブル概要 2)エラー内容 3)原因 4)解決案 【2】例2:…

【Python】Django ~ 基本編 / model ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 https://dk521123.hatenablog.com/entry/2022/08/09/092941 の続き。 Django (ジャンゴ) の ビューに関する操作をやってきた…

【Snowflake】Snowflake ~ GET_DDL ~

■ はじめに 小ネタ。 Snowflakeにおいて、開発環境のテーブル定義が古かったが、 DDLが管理されてなかった。 そのため、Snowflake でテーブルをExportするやり方を調べた。 今後も使いそうだし、 テーブル以外にもFile Formatなどにも使えるので メモってお…

【Python】Django ~ 基本編 / アプリ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 の続き。 今回は、 Django (ジャンゴ) の「アプリ」について学ぶ。 これで、 Django (ジャンゴ) に関する仕組みの知識ベース…

【Python】Django ~ 基本編 / Class-based View ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 の続き。 今回は、前回のサンプルをベースにビューの表示の仕方について学ぶ。 目次 【1】ビューの種類 1)関数ベースビュー(Function Based Views) 2)クラスベースビュー(Class…

【Python】Django ~ 入門編 ~

■ はじめに Python の Django (ジャンゴ) に関してちょこっと調べたのでメモ。 後、Hello world的なことをやってみる。 目次 【1】Django 【2】特徴 1)設計思想 2)MVT (Model-View-Template) 【3】設定手順 1)設定環境 2)インストール 【4】Hell…

【Python】パッケージ管理 Poetry ~ 基本編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/09/155903 の続き。 Poetry の基本的なノウハウをメモしておく。 目次 【1】Pythonバージョンを指定する場合 1)手順 【2】依存パッケージを追加する場合 1)開発のみ必要なライブラリ追加す…

【Python】Python ~ 基本編 / urllib ~

■ はじめに Python から API をコールすることになりそうで その際に使用する urllib についてメモ。 目次 【1】urllib 1)使用例 2)AWS Glue のサポート状況 補足:サードパーティライブラリ「Requests」 【2】API仕様 1)urllib.request.Request 2…

【Pulumi】pulumiで 新規作成リソースのみデプロイ

■ はじめに https://dk521123.hatenablog.com/entry/2022/06/28/000000 の続き。 pulumiで対象リソースのみデプロイするコマンド「pulumi up --target xxx」で URN(ARN) を調べるのは、「pulumi stack --show-urns」を使用するのだが 新規作成のリソースでは…

【Github】Githubで状態を戻す方法を考える

■ はじめに https://dk521123.hatenablog.com/entry/2020/07/11/182959 https://dk521123.hatenablog.com/entry/2020/07/12/103726 で 誤ったタイミングで main/releaseブランチなどに マージしてしまい、元に戻す方法を考えたが、 Github上だとWeb UIのGUI…

【Snowflake】【トラブル】エラー「Insufficient privileges to operate」時の対応

■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【1】エラー内…

【Snowflake】Snowflake ~ Merge Into ~

■ はじめに Snowflake の Merge Into について扱う。 目次 【1】Merge Into 【2】構文 【3】サンプル 【1】Merge Into * 2番目のテーブルまたはサブクエリの値に基づいて、 テーブルの値を挿入、更新、削除 https://docs.snowflake.com/ja/sql-reference…

【Adobe Analytics】Adobe Analytics ~ API編 ~

SEO

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/29/000000 の続き。 Adobe Analyticsの API について、調べてみた。 目次 【1】Adobe Analytics API 【2】API使用前の準備 【3】認証の仕方(Authentication) 1)OAuth 2)JWT (JSON web to…

【Python】単体試験 / unittest ~ あれこれ編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 https://dk521123.hatenablog.com/entry/2021/03/31/000000 https://dk521123.hatenablog.com/entry/2021/04/05/165656 の続き。 今回は、Python標準 unittest の Tips を纏めておく 目…

【Adobe Analytics】Adobe Analytics ~ 基礎知識編 ~

SEO

■ はじめに Adobe Analytics に関するメモ。 目次 【1】Adobe Analytics(AA) 1)Google Analyticsとの差異 【2】料金 【3】ドキュメント 1)公式ドキュメント 2)動画 【4】関連用語 【1】Adobe Analytics(AA) * Adobeが提供する「Adobe Experie…

【Snowflake】Snowflake ~ File Format ~

■ はじめに Snowflake で File Format (ファイルフォーマット) を 扱うことになったので、メモしておく 目次 【1】CREATE FILE FORMAT 1)サンプル 【2】確認 方法1)SHOW FILE FORMATS 方法2)DESCRIBE FILE FORMAT <name> 方法3)SELECT * FROM FILE_FORMA</name>…

【Adobe Analytics】Adobe Analytics ~ 用語整理編 ~

SEO

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/29/000000 で用語をまとめようと思ったが、 あまりにも用語が大容量だったので、別冊にしてみた。 目次 【1】SDR(Solution Design Reference) 【2】レポートスイート(Report Suite) 【3】…

トークン認証 ~ OAuth ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/20/000000 の続き。 今回は、OAuth について扱う。 目次 【1】OAuth 【2】特徴 【3】登場人物 1)認可サーバ (Authorization server) 2)リソースサーバ (Resource server) 3)クライアント…

トークン認証 ~ JWT ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/07/31/000000 で、認証方法として、JWT(JSON Web Token)がでてきたので 調べてみた。 目次 【1】JWT(JSON Web Token) 【2】特徴 【3】構成 1)ヘッダー (Header) 2)ペイロード (Payload) …