2021-12-01から1ヶ月間の記事一覧
■ はじめに Github の OAuthToken などの認証情報が AWS Systems Manager パラメータストアで管理されていて、 それをAWS CloudFormation から取得する際に 色々とトラブルあり、勉強になることがあったので、 AWS CloudFormationでの認証情報の扱いについて…
■ はじめに CloudFormation スタックを削除した際に、 生成したリソースを削除したい場合や残しておきたいなどを どのようにコントロールするのかを調べたので、メモする。 目次 【０】リソース属性 【１】DeletionPolicy 属性 【２】DeletionPolicy属性のオ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 https://dk521123.hatenablog.com/entry/2021/12/05/134313 の続…
■ はじめに 今更なのだが、Pythonで データ型を指定して 書くことを改めて、ちゃんと調べてみたので、メモ。 はじめ、軽ーく書くつもりだったのだが、 調べていくうちに思いのほか長くなってしまった、、、 目次 【１】関連用語 １）関数アノテーション（Fun…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 https://dk521123.hatenablog.com/entry/2021/12/21/134528 で行ったように boto3 API を使って AWS CodePipeline を作成する必要があったので、メモ。 目次 【１】関連する b…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/21/221122 の続き。 AWS CodeBuildのプロジェクトを boto3 API を使って 構築する必要になったので、メモ。 目次 【１】関連する boto3 API 【２】その他・技術事項 １）CodeBuild の Docker イメ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 で少し触れているのだが、 エラー「Failed to cast variant value "" to TIMESTAMP_NTZ」などの 例外が発生したので、その際に行った対応策をメモしておく。 目次 【１】現象詳細 １）…
■ はじめに https://dk521123.hatenablog.com/entry/2021/12/15/162658 の続き。 データ型で「VARIANT」とかでてきたので 今回は、Snowflakeのデータ型について、扱う。 目次 【０】Snowflake で扱うデータ型 １）サポートされていないデータ型 【１】数値デ…
■ はじめに Snowflake における データ型 の キャスト（Cast）について扱う 目次 【０】Snowflakeのキャストの仕方 【１】CAST 【２】:: 演算子 【３】TO_ データ型 【４】TRY_CAST 【５】TRY_TO_ データ型 【０】Snowflakeのキャストの仕方 snowflake での…
■ はじめに Glue の DynamicFrame で引数の設定をミスっていて ハマりにハマったので、メモしておく。 目次 【０】関連するAPI １）DynamicFrameReader.from_options 【１】サンプル 例１：CSVからParquetへ変換 【２】DynamicFrame あれこれ １）s3 の指定…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 の続き。 今回は、AWS CloudFormation (CFn) でちょくちょく使用…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 AWS CloudFormation (CFn) で、大体な仕組みは理解できたのだが サンプルをみていて、組み込み関数なるものがでて…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 の続き。 AWS CloudFormation (CFn) について、 もう少し掘り下げてみる。 目次 【１】CloudFormation を使った構成管理の流れ 【２】テンプレートの各セクション ０１）AWSTemplateFor…
