◾️はじめに Apache Airflow での Amazon Athenaを扱うことを考える 目次 【１】Apache Airflow での Amazon Athena 【２】インストール 【３】Operator １）AthenaOperator 【４】Sensor １）AthenaSensor 【５】サンプル 【１】Apache Airflow での Amazon …

◾️はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2023/10/13/144254 の続き。 今回は、AWS Athena の boto3 API についてメモしておく 【１】boto3 https://boto3.amazonaws.com/v1/documentati…

◾️はじめに celery.worker_autoscale ってのを学んだのでメモ 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】対処案 【５】補足１：worker_autoscale 【６】補足２：AWS MWAA １）celery.worker_autoscale ２）使用上の注意：デフォルト値 ３…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/07/230713 の調査の一環として、 Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を Github Copilotに聞いたところ、「s3fs」を教えてくれたので メモってみた 目次 【１】s3fsラ…

◾️はじめに https://dk521123.hatenablog.com/entry/2019/10/05/121119 の続き。 今回は、AWS SSM Document(Systems Manager Document) について、 メモしておく 目次 【１】AWS SSM Document １）利点 【２】ドキュメントの作成 １）構文 ２）サンプル 【１…

■ はじめに GitHub Self-hosted Runner in AWS CodeBuild ってのがあることを知ったのでメモ。 目次 【１】GitHub Self-hosted Runner in AWS CodeBuild １）補足：GitLab の Runner サポート 【２】設定手順例 Step 1: Create a CodeBuild project with a w…

■ はじめに MWAA の Airflow バージョンを v2.7 から更新したい って話があるので、MWAA の Version更新について調べてみた 目次 【１】サポートバージョン 【２】Apache Airflow バージョンのアップグレード １）メジャーバージョン更新の場合（e.g. 1.y.z …

■ はじめに Amazon Macie ってのが話題になったので 軽く調べてみた 目次 【１】Amazon Macie 【２】料金 【３】サポート状況 １）S3 ストレージクラス ２）ファイルフォーマット 【１】Amazon Macie * S3バケットから機密データを検出できるAWSサービス cf.…

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 の続き。 作業で、S3バケット内のファイル容量を調べる必要が出てきて そのファイルの時間推移も併せて調べることとなった。 ちまちまManagement Console上から手作業で調べていたのだ…

■ はじめに 他メンバーのPythonコードを見ていて、 ~~~ paginator = client.get_paginator('list_objects_v2') ~~~ ってでてきて、なんだこれ？ってなったので 調べてみた。 目次 【１】Paginators を知る前に 【２】Paginators 【３】サンプル 例１：Hello …

■ はじめに 今回は、Terraform で AWS VPC を作成することについて まとめておく。 目次 【１】VPC 【２】Subnet 【３】Security Group 【１】VPC https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/vpc 主な項目 Items Explana…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 CodePipeline に関する知識を少しづつだがまとめていく 【１】CodePipeline のアクションタイプ https://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/reference…

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 で、S3 の AWS CLI については扱ったが、 aws s3 sync がうまく扱えないので、深堀りしてみた。 ちゃんと理解しないとバグの原因になりうる。 （特に --delete オプション付けた時に、…

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/26/001612 の続き。 今回は、AWS CDK (AWS Cloud Development Kit) を取り上げる。 目次 【１】AWS CDK １）サポート言語 【２】環境設定 １）インストール手順 【３】AWS CDK CLI コマンド １）c…

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/26/001612 の続き。 AWS Chalice (チャリス) について、取り上げる 目次 【１】AWS Chalice 【２】インストール 【３】コマンド一覧 【４】Hello world １）プロジェクト作成 ２）ローカル実行 ３…

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/23/162229 で、 ~~~~~~~ （本当は、Serverless Framework で実装したかったが ~~~~~~~ って思っていたんだが、 どうやら、Serverless Framework v4 から有償になってしまったらしい（※１）、、、 …

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/23/162229 の続き。 Upload機能を実装しようと思ったが、ファイル指定する場合は 以下※１で、標準ライブラリではなく、 Requestsライブラリを考えてみては？的なことが 書かれていたのだが、Lambd…

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/05/235618 https://dk521123.hatenablog.com/entry/2021/10/07/103317 の続き。 (よくありがちな) AWS Lambdaで、 S3バケット内のファイルを監視し、 そのファイルを別の場所にデプロイする、、、…

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 https://dk521123.hatenablog.com/entry/2019/12/06/232617 の続き。 Amazon S3 の AWS CLI (aws s3) の存在はしていたが aws s3api の存在を知ったので、メモ。 目次 【１】aws s3api …

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/14/232934 の続き。 アカウントA（Account ID: 111111111111）から、 別 アカウントB（Account ID: 999999999999）のECRリポジトリを 自動スキャン付きにした場合の影響について、触れてみる 目次…

■ はじめに 久しぶりに、ECRネタ。 アカウントA（Account ID: 111111111111）から、 アカウントB（Account ID: 999999999999）のECRリポジトリに対して Docker Pull/Pushすることを考える 目次 【０】何を行う必要があるか？ １）公式サイトより 【１】呼び…

■ はじめに 最近、ちょくちょく使う aws ssm xxx について、 徐々にだが、メモっていく 目次 【１】API仕様 - aws ssm １）aws ssm start-session ２）aws ssm describe-session ３）aws ssm terminate-session 【２】Session Manager プラグイン １）インス…

■ はじめに https://dk521123.hatenablog.com/entry/2024/04/08/184035 の続き。 現状 ECR Public の VPC エンドポイントは未サポートのため AWS ECR Public Gallery 内のDockerイメージを VPC エンドポイント経由で Pull はできない（※１）。 そこで、「pul…

■ はじめに AWS ECR Public Gallery ってのを知ったのでメモ。 目次 【１】AWS ECR Public Gallery 【２】IAMロール 【３】使用上の注意 １）ECR Public から VPC エンドポイント経由で Pull はできない 【４】使い方 １）docker login ２）dockerfile での…

■ はじめに 今回は、AWS CloudFormation の Outputs について扱う。 ここ1～3ヶ月間、CloudFormation（cfn）を使ってきたが この Outputs で、ひとまず基本的なことは、大体わかったので良かった。 目次 【１】Outputsの書き方 【２】Outputs の参照 - !Impo…

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/23/235028 の続き。 今回は、EC2 Image builder の Hello World をやって EC2 Image builder がどういう感じなのか雰囲気を味わってみる 目次 【０】作成の流れ 【１】コンポーネント作成 【２】…

■ はじめに CloudFormation で SNS を作るところをメモ。 目次 【１】API １）AWS::SNS::Topic ２）AWS::SNS::Subscription 【２】サンプル 例１：Hello world 【１】API １）AWS::SNS::Topic * SNSのTopic作成 https://docs.aws.amazon.com/ja_jp/AWSCloudF…

■ はじめに AWS CloudFormationで、 環境 (dev/stage/prod) によって値を切り替えたい。 https://dk521123.hatenablog.com/entry/2022/07/02/214543 で、条件分岐を行ったが、それ以外の方法で、 Mappings が使えそうなので、調べてみた 目次 【１】Mappings…

■ はじめに Github Workflow で Self-Hosted runner (EC2) 上で作成したファイルを この Self-Hosted runner とは、別のAWS アカウントにファイルを置きたい。 そこで、別AWSアカウントのS3にファイルをアップロードすることを 調べてみた。 目次 【１】やり…

■ はじめに 仕事で、ECR の VPC Endpoint が必要になった。 そこで、CloudFormation で VPC を作成する。 目次 【１】API １）AWS::EC2::VPC ２）AWS::EC2::Subnet ３）AWS::EC2::VPCEndpoint 【２】使用上の注意 １）CloudFormation では VPC Endpoint の T…