AWS
■ はじめに CloudTrail について扱う。 目次 【１】CloudTrail １）利用例 ２）業務上での実際の利用例 【２】ログの種類 １）管理イベント ２）データイベント 【３】ログの保持期間 【４】CloudWatch Logsとの連携 １）仕組み 【１】CloudTrail * AWS アカ…
■ はじめに ElastiCache について、メモ。 目次 【１】ElastiCache 【２】サポートエンジン １）Memcached ２）Redis 【１】ElastiCache * AWSのインメモリ型データベースサービス 【２】サポートエンジン 以下をサポートしている ~~~~~~~ １）Memcached ２…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 の続き。 Amazon WorkSpacesへのファイル転送を、 S3経由でやっていたのだが、それだと都合が悪いことがあったので 調べてみたら、「Amazon WorkDocs」ってのがあったのでメモ。 目次 …
■ はじめに Github の OAuthToken などの認証情報が AWS Systems Manager パラメータストアで管理されていて、 それをAWS CloudFormation から取得する際に 色々とトラブルあり、勉強になることがあったので、 AWS CloudFormationでの認証情報の扱いについて…
■ はじめに CloudFormation スタックを削除した際に、 生成したリソースを削除したい場合や残しておきたいなどを どのようにコントロールするのかを調べたので、メモする。 目次 【０】リソース属性 【１】DeletionPolicy 属性 【２】DeletionPolicy属性のオ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 https://dk521123.hatenablog.com/entry/2021/12/05/134313 の続…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 https://dk521123.hatenablog.com/entry/2021/12/21/134528 で行ったように boto3 API を使って AWS CodePipeline を作成する必要があったので、メモ。 目次 【１】関連する b…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/21/221122 の続き。 AWS CodeBuildのプロジェクトを boto3 API を使って 構築する必要になったので、メモ。 目次 【１】関連する boto3 API 【２】その他・技術事項 １）CodeBuild の Docker イメ…
■ はじめに Glue の DynamicFrame で引数の設定をミスっていて ハマりにハマったので、メモしておく。 目次 【０】関連するAPI １）DynamicFrameReader.from_options 【１】サンプル 例１：CSVからParquetへ変換 【２】DynamicFrame あれこれ １）s3 の指定…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 の続き。 今回は、AWS CloudFormation (CFn) でちょくちょく使用…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 AWS CloudFormation (CFn) で、大体な仕組みは理解できたのだが サンプルをみていて、組み込み関数なるものがでて…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 の続き。 AWS CloudFormation (CFn) について、 もう少し掘り下げてみる。 目次 【１】CloudFormation を使った構成管理の流れ 【２】テンプレートの各セクション ０１）AWSTemplateFor…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 MWAA Localの 環境構築としてDocker composeを使い aws-mwaa-local-runner と LocalStack と組み合わせにする。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker…
■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【１】UpdateConnection を実行したら AccessDeniedExceptionが発生 【１】UpdateConnection を実行したら AccessDeniedExceptionが発生 …
■ はじめに https://dk521123.hatenablog.com/entry/2024/02/10/231900 の続き。 AWS CloudFormation (CFn) を触ったのでメモ。 目次 【１】手順 １）新規作成 ２）設定変更 【２】サンプル 例１：1 VPC 1 Subnet作成 例２：EC2インスタンス構築 (イメージ) …
■ はじめに Amazon WorkSpaces（アマゾン ワークスペース） ってのを 使うことになりそうなので、予習しておく。 目次 【１】Amazon WorkSpaces 【２】利点 【３】料金 【４】環境 １）OS ２）オプション ３）接続プロトコル ４）クライアントの対応OS 【５…
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/03/175213 の続きで、Amazon Simple Notification Service（SNS）について。 https://dk521123.hatenablog.com/entry/2021/10/06/141323 で、Airflow において、 Amazon SNS経由でEmailを受信する…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA（Amazon Managed Workflow for Apache Airflow）を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 今回以外のトラ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 のコードを AWS Lambda (ラムダ)で実行する必要ができたのだが よくよく考えると Lambda は、Javaでしか組んだことがなく、 Python は初めてだったので、メモっておく。 後、大分、前に…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 の続き。 Secrets Manager に含まれている情報を、 boto3 でアクセスして、ごにょごにょする必要ができたので 調べて、メモを残しておく。 目次 【１】API仕様 １）get_secret_value() …
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【１…
■ はじめに MWAA（Amazon Managed Workflow for Apache Airflow） に関して、触れるのでメモ 目次 【１】MWAA（Amazon Managed Workflow for Apache Airflow） １）メリット ２）デメリット ３）サポートバージョン 【２】技術メモ １）DAG の作成 ２）DAG …
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/19/130118 で、AWS Glue2.0 を扱ったが、 2021/08/19に Glue3.0がリリースされたらしいので、 調べてみた。 まずは、ざっくり知りたいなら、以下の公式サイト参照のこと。 https://aws.amazon.com…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/08/202004 の続き。 Redshiftは、PostgreSQL互換と言われているが ちょこちょこ異なっていること見つかる今日この頃。 今回は、文字列結合について扱い、 PostgreSQLとの差異についても扱う。 目…
■ はじめに 小ネタ。 Amazon Redshiftを使っていて、 キャストの仕方が色々あるようなので、纏めてみた。 特に、「２）「::」 を使用したキャスト」が知らなかったので、 自戒の意味を込めて、記しておく。 目次 【０】公式サイト 【１】Amazon Redshiftでの…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/04/172021 において 「３）インターリーブソートキー（Interleaved SortKey）」 の「デメリット」より ~~~~~~~~~~~ * インターリーブソートキーの性能を維持するためには 定期的に VACUUM REINDEX…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【１】COPYコマンド時にエラー「Forbidden: HTTP…
■ はじめに Hiveテーブルデータ を Redshift に移行することをやったので ざっくり方針などをメモ。 目次 【１】Hiveテーブルデータ を Redshift に移行するには １）移行手順案 ２）トラブルについて 【２】サンプル １）HiveのExternal TableでS3上に保存…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL において 自動採番IDしてくれる「SERIAL / BIGSERIAL / SMALLSERIAL」（※）は、 Redshiftでは対応していないと記載した。 そこで、Redshift は、自動採番をどう対応する…
