2022-01-01から1年間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/19/104805 でJSONの扱いはやったが、 テストデータとして、ndjson のファイルを作る 可能性がでてきたので、予習。 目次 【０】ndjson 【１】ndjsonモジュールを使う １）インストール ２）サンプ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/01/03/000000 を分冊。 pulumi で TypeScript を使っているのだが、 少しでも簡潔に書きたいと思い、調べていたら 結局 map を使うことにしたので、メモしておく。 目次 【０】ブラウザ上での実行環…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/02/090439 https://dk521123.hatenablog.com/entry/2022/08/18/120935 で、Snowflakeの権限周りのトラブルについて扱ったが、 今後も同じようなトラブルがありそうで、 その際に原因を調べるため…
■ はじめに Snowflake で権限周りのエラーに遭遇したのでメモ。 原因が別の２ケースについて、あげておく。 目次 【１】例１：エラー「Table does not exist or not authorized」時の対応 １）トラブル概要 ２）エラー内容 ３）原因 ４）解決案 【２】例２：…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 https://dk521123.hatenablog.com/entry/2022/08/09/092941 の続き。 Django (ジャンゴ) の ビューに関する操作をやってきた…
■ はじめに 小ネタ。 Snowflakeにおいて、開発環境のテーブル定義が古かったが、 DDLが管理されてなかった。 そのため、Snowflake でテーブルをExportするやり方を調べた。 今後も使いそうだし、 テーブル以外にもFile Formatなどにも使えるので メモってお…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 https://dk521123.hatenablog.com/entry/2022/08/08/140619 の続き。 今回は、 Django (ジャンゴ) の「アプリ」について学ぶ。 これで、 Django (ジャンゴ) に関する仕組みの知識ベース…
■ はじめに https://dk521123.hatenablog.com/entry/2022/08/07/121017 の続き。 今回は、前回のサンプルをベースにビューの表示の仕方について学ぶ。 目次 【１】ビューの種類 １）関数ベースビュー（Function Based Views） ２）クラスベースビュー（Class…
■ はじめに Python の Django (ジャンゴ) に関してちょこっと調べたのでメモ。 後、Hello world的なことをやってみる。 目次 【１】Django 【２】特徴 １）設計思想 ２）MVT (Model-View-Template) 【３】設定手順 １）設定環境 ２）インストール 【４】Hell…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/09/155903 の続き。 Poetry の基本的なノウハウをメモしておく。 目次 【１】Pythonバージョンを指定する場合 １）手順 【２】依存パッケージを追加する場合 １）開発のみ必要なライブラリ追加す…
■ はじめに Python から API をコールすることになりそうで その際に使用する urllib についてメモ。 目次 【１】urllib １）使用例 ２）AWS Glue のサポート状況 補足：サードパーティライブラリ「Requests」 【２】API仕様 １）urllib.request.Request ２…
■ はじめに https://dk521123.hatenablog.com/entry/2022/06/28/000000 の続き。 pulumiで対象リソースのみデプロイするコマンド「pulumi up --target xxx」で URN(ARN) を調べるのは、「pulumi stack --show-urns」を使用するのだが 新規作成のリソースでは…
■ はじめに https://dk521123.hatenablog.com/entry/2020/07/11/182959 https://dk521123.hatenablog.com/entry/2020/07/12/103726 で 誤ったタイミングで main/releaseブランチなどに マージしてしまい、元に戻す方法を考えたが、 Github上だとWeb UIのGUI…
■ はじめに Snowflake で、DROPなどのSQLを実行した際に ~~~~ SQL access control error: Insufficient privileges to operate on xxxx ~~~~ が表示することが何度かあり、対応方法を結構忘れてしまうので、 備忘録としてメモしておく。 目次 【１】エラー内…
■ はじめに Snowflake の Merge Into について扱う。 目次 【１】Merge Into 【２】構文 【３】使用上の注意 【４】サンプル 例１：Hello world 例２：INSERT OR UPDATE 【１】Merge Into * 2番目のテーブルまたはサブクエリの値に基づいて、 テーブルの値を…
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/29/000000 の続き。 Adobe Analyticsの API について、調べてみた。 目次 【１】Adobe Analytics API 【２】API使用前の準備 【３】認証の仕方（Authentication） １）OAuth ２）JWT (JSON web to…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/02/223658 https://dk521123.hatenablog.com/entry/2021/03/31/000000 https://dk521123.hatenablog.com/entry/2021/04/05/165656 の続き。 今回は、Python標準 unittest の Tips を纏めておく 目…
■ はじめに Adobe Analytics に関するメモ。 目次 【１】Adobe Analytics（AA） １）Google Analyticsとの差異 【２】料金 【３】ドキュメント １）公式ドキュメント ２）動画 【４】関連用語 【１】Adobe Analytics（AA） * Adobeが提供する「Adobe Experie…
■ はじめに Snowflake で File Format (ファイルフォーマット) を 扱うことになったので、メモしておく 目次 【１】CREATE FILE FORMAT １）サンプル ２）補足：一時的なファイルフォーマットについて 【２】確認 方法１）SHOW FILE FORMATS 方法２）DESCRIB…
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/29/000000 で用語をまとめようと思ったが、 あまりにも用語が大容量だったので、別冊にしてみた。 目次 【１】SDR（Solution Design Reference） 【２】レポートスイート（Report Suite） 【３】…
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/20/000000 の続き。 今回は、OAuth について扱う。 目次 【１】OAuth 【２】特徴 【３】登場人物 １）認可サーバ (Authorization server) ２）リソースサーバ (Resource server) ３）クライアント…
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/31/000000 で、認証方法として、JWT（JSON Web Token）がでてきたので 調べてみた。 目次 【１】JWT（JSON Web Token） 【２】特徴 【３】構成 １）ヘッダー (Header) ２）ペイロード (Payload) …
■ はじめに 図書館で以下の本を借りて、 mypy について学んだので、メモ Pythonエンジニア育成推進協会監修 Python実践レシピ作者:鈴木 たかのり,筒井 隆次,寺田 学,杉田 雅子,門脇 諭,福田 隼也技術評論社Amazon 目次 【１】mypy 【２】環境設定 【３】使い…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/15/140053 の続き。 globals()ってのを扱ったから、どんなものか調べてみた 目次 【１】関連する組み込み関数 １）globals() ２）locals() 【２】使用上の注意 【３】サンプル 【１】関連する組み…
■ はじめに 完全自分用のメモ。 ローカルブランチに別のリモートブランチをプルする方法などをメモ。 目次 【０】今のブランチを確認する 【１】ローカルブランチに別のリモートブランチをプルするには １）ローカルのブランチ一覧を表示する ２）別のリモー…
■ はじめに https://dk521123.hatenablog.com/entry/2022/07/04/172738 で行ったSnowflakeのデータ アンロード で、 使用していて、ちょこちょこ気になることが出てきたので まとめておく。 目次 【０】公式ドキュメント「データのアンロードに関する考慮事…
【１】パリティチェック （parity check） * データの誤り検出方式の一つ * ビット列中に含まれる「1」の数が偶数か奇数かを表す 符号を算出してデータに付加する cf. parity=偶奇 【２】こぼれ話「オセロで通信」 １）登場人物 * 手品師 * 弟子 * 客 ２）手…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/15/221245 で、Snowflake の データロードについて扱ったが、 今回は、業務でデータアンロード について扱いそうなので 復習も兼ねて、まとめておく。 目次 【１】アンロード（Unload）とは？ 【…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 IAM について、もう少し掘り下げる。 目次 【１】IAM １）認証 (Authentication) ２）認可 (Authorization) 【２】IAMユーザ・グループ １）認証種類 ２）MFA設定手順 【３】I…
■ はじめに AWS CloudFormation で、Booleanの入力パラメータで Roleを付与するかしないかを扱った。 その中で、Conditions セクションや条件関数（!IF、!Equals）を やったのでメモっておく。 目次 【１】条件関数 １）Fn::Equals（!Equals） ２）Fn::If（!…
