2021-01-01から1年間の記事一覧
■ はじめに Github の OAuthToken などの認証情報が AWS Systems Manager パラメータストアで管理されていて、 それをAWS CloudFormation から取得する際に 色々とトラブルあり、勉強になることがあったので、 AWS CloudFormationでの認証情報の扱いについて…
■ はじめに CloudFormation スタックを削除した際に、 生成したリソースを削除したい場合や残しておきたいなどを どのようにコントロールするのかを調べたので、メモする。 目次 【０】リソース属性 【１】DeletionPolicy 属性 【２】DeletionPolicy属性のオ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 https://dk521123.hatenablog.com/entry/2021/12/05/134313 の続…
■ はじめに 今更なのだが、Pythonで データ型を指定して 書くことを改めて、ちゃんと調べてみたので、メモ。 はじめ、軽ーく書くつもりだったのだが、 調べていくうちに思いのほか長くなってしまった、、、 目次 【１】関連用語 １）関数アノテーション（Fun…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 https://dk521123.hatenablog.com/entry/2021/12/21/134528 で行ったように boto3 API を使って AWS CodePipeline を作成する必要があったので、メモ。 目次 【１】関連する b…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/21/221122 の続き。 AWS CodeBuildのプロジェクトを boto3 API を使って 構築する必要になったので、メモ。 目次 【１】関連する boto3 API 【２】その他・技術事項 １）CodeBuild の Docker イメ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 で少し触れているのだが、 エラー「Failed to cast variant value "" to TIMESTAMP_NTZ」などの 例外が発生したので、その際に行った対応策をメモしておく。 目次 【１】現象詳細 １）…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 の続き。 データ型で「VARIANT」とかでてきたので 今回は、Snowflakeのデータ型について、扱う。 目次 【０】Snowflake で扱うデータ型 １）サポートされていないデータ型 【１】数値デ…
■ はじめに Snowflake における データ型 の キャスト（Cast）について扱う 目次 【０】Snowflakeのキャストの仕方 【１】CAST 【２】:: 演算子 【３】TO_ データ型 【４】TRY_CAST 【５】TRY_TO_ データ型 【０】Snowflakeのキャストの仕方 snowflake での…
■ はじめに Glue の DynamicFrame で引数の設定をミスっていて ハマりにハマったので、メモしておく。 目次 【０】関連するAPI １）DynamicFrameReader.from_options 【１】サンプル 例１：CSVからParquetへ変換 【２】DynamicFrame あれこれ １）s3 の指定…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 の続き。 今回は、AWS CloudFormation (CFn) でちょくちょく使用…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 AWS CloudFormation (CFn) で、大体な仕組みは理解できたのだが サンプルをみていて、組み込み関数なるものがでて…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 の続き。 AWS CloudFormation (CFn) について、 もう少し掘り下げてみる。 目次 【１】CloudFormation を使った構成管理の流れ 【２】テンプレートの各セクション ０１）AWSTemplateFor…
■ はじめに システムのパスワードを決めるために、 より安全な文字列を生成する必要ができたので Pythonで生成する方法を調べてみた。 ついでに、「トークン」や「UUID」も載せておく。 ちなみに、Java版で同じことを過去にやっていた。 【Java】セキュアな…
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 https://dk521123.hatenablog.com/entry/2019/08/29/220537 の続き。 今更ながら、Pythonの抽象クラス（Abstract Class） を知ったので、メモ。 目次 【１】Pythonの抽象クラス - ABC (…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake の特徴の一つでもある「ゼロ コピー クローン」について扱う。 目次 【１】ゼロコピークローン 【２】構…
■ はじめに CI/CD に関する打ち合わせの中で、 「Dependabot (ディベンダ ボット)」なるものが出てきたので メモしておく。 目次 【１】Dependabot 【２】サポート言語 【３】Dependabot の 適用 １）Python / Poetry 【１】Dependabot * パッケージ管理（e.…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 https://dk521123.hatenablog.com/entry/2021/11/24/163751 の続き。 PyTest の Mock について、学ぶ。 目次 【１】環境設定 【２】サンプル 例１：戻り値をMock化 - mocker.patch 例２…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/13/224810 の続き。 PyTest の Fixture（フィクスチャ）について、学ぶ。 目次 【１】Fixture（フィクスチャ） 【２】Scope（スコープ） 【３】サンプル 【１】Fixture（フィクスチャ） * PyTest …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 の続き。 既に出来合いのシステムの Snowflake を触りだしたのだが、 やっぱり、ちゃんと学びたいと思った。 Snowflakeは、30日間無料トライアルでの使用があるので 基本的な操作をメモ…
■ はじめに https://dk521123.hatenablog.com/entry/37985221 で、はてなブログに引っ越ししたが、 興味本位で、ブログで小銭をもらう方法について調べて 実践してみた。 目次 【１】Google AdSense １）申し込み ２）支払いスケジュール ３）税務情報入力 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 https://dk521123.hatenablog.com/entry/2021/11/15/221245 の続き。 今回は、Snowflake の ロールや権限などのアクセス制御…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/02/130111 https://dk521123.hatenablog.com/entry/2021/11/22/212520 の続き。 Snowflake を触わる機会があった。 主に、データロードまでやったのだが そこにいきつくまでに、色々なことを学べ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/12/08/165505 で設定した Docker Desktop だが、有料化したらしいので その代替えを調べてみた。 目次 【１】Docker Desktop の 有料化 １）無料で使える条件 【２】Docker-CE 【３】構築手順 １）Do…
■ はじめに Parquet (パーケット) 形式のファイルを取り込むことになって そのためのテストデータ（ファイル）を作りたいので、 Python で Parquet を扱う方法をメモしておく。 Parquet については、以下の関連記事を参照のこと。 Parquet ファイル https://…
■ はじめに 今回、IT技術のまとめではないが、、、 https://dk521123.hatenablog.com/entry/2021/11/01/000000 で、AIスピーカーを購入したのだが、 Google nestだと、マルチリンガルモード対応なので 日常に英語を使う機会を設ける意味で非常にいいと思った…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 https://dk521123.hatenablog.com/entry/2021/11/08/221219 の続き。 色々調べて、flake8 と black を使いそうなので、 今回は、Python の フォーマッター「black」について、 設定の仕…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/11/141852 で、以前、pipenv などを取り扱ったが、 新たに、Poetry（ポエトリー）なるものを教えてもらったのでメモ。 目次 【１】Poetry １）公式サイト 【２】環境構築 １）前提条件 ２）インス…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/07/000000 の続きで、Pythonのコードチェックにおいて、 flake8 以外にも、色々なツールがあふれている。 そこで、フォーマッターなども含めた Python を奇麗に書くためのツール群について、整理…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 MWAA Localの 環境構築としてDocker composeを使い aws-mwaa-local-runner と LocalStack と組み合わせにする。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker…
