AWS

【AWS】Amazon S3 ~ AWS CLI / aws s3 sync ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 で、S3 の AWS CLI については扱ったが、 aws s3 sync がうまく扱えないので、深堀りしてみた。 ちゃんと理解しないとバグの原因になりうる。 (特に --delete オプション付けた時に、…

【Severless】AWS CDK ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/26/001612 の続き。 今回は、AWS CDK (AWS Cloud Development Kit) を取り上げる。 目次 【1】AWS CDK 1)サポート言語 【2】環境設定 1)インストール手順 【3】AWS CDK CLI コマンド 1)c…

【Severless】AWS Chalice ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/26/001612 の続き。 AWS Chalice (チャリス) について、取り上げる 目次 【1】AWS Chalice 【2】インストール 【3】コマンド一覧 【4】Hello world 1)プロジェクト作成 2)ローカル実行 3…

【Serverless】Serverless Framework以外のフレームワーク

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/23/162229 で、 ~~~~~~~ (本当は、Serverless Framework で実装したかったが ~~~~~~~ って思っていたんだが、 どうやら、Serverless Framework v4 から有償になってしまったらしい(※1)、、、 …

【AWS】Lambda ~ Python / 外部モジュール追加 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/23/162229 の続き。 Upload機能を実装しようと思ったが、ファイル指定する場合は 以下※1で、標準ライブラリではなく、 Requestsライブラリを考えてみては?的なことが 書かれていたのだが、Lambd…

【AWS】Lambda ~ Python / S3トリガー ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/05/235618 https://dk521123.hatenablog.com/entry/2021/10/07/103317 の続き。 (よくありがちな) AWS Lambdaで、 S3バケット内のファイルを監視し、 そのファイルを別の場所にデプロイする、、、…

【AWS】Amazon S3 ~ aws s3api ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/04/01/235355 https://dk521123.hatenablog.com/entry/2019/12/06/232617 の続き。 Amazon S3 の AWS CLI (aws s3) の存在はしていたが aws s3api の存在を知ったので、メモ。 目次 【1】aws s3api …

【AWS】Amazon ECR ~ 別アカウントからInspector2を操作するには ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/05/14/232934 の続き。 アカウントA(Account ID: 111111111111)から、 別 アカウントB(Account ID: 999999999999)のECRリポジトリを 自動スキャン付きにした場合の影響について、触れてみる 目次…

【AWS】Amazon ECR ~ 別アカウントのECRにPull/Push ~

AWS

■ はじめに 久しぶりに、ECRネタ。 アカウントA(Account ID: 111111111111)から、 アカウントB(Account ID: 999999999999)のECRリポジトリに対して Docker Pull/Pushすることを考える 目次 【0】何を行う必要があるか? 1)公式サイトより 【1】呼び…

【AWS】AWS Systems Manager ~ AWS CLI ~

AWS

■ はじめに 最近、ちょくちょく使う aws ssm xxx について、 徐々にだが、メモっていく 目次 【1】API仕様 - aws ssm 1)aws ssm start-session 2)aws ssm describe-session 3)aws ssm terminate-session 【2】Session Manager プラグイン 1)インス…

【AWS】Amazon ECR ~ pull through cache rules ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/04/08/184035 の続き。 現状 ECR Public の VPC エンドポイントは未サポートのため AWS ECR Public Gallery 内のDockerイメージを VPC エンドポイント経由で Pull はできない(※1)。 そこで、「pul…

【AWS】Amazon ECR ~ AWS ECR Public Gallery ~

AWS

■ はじめに AWS ECR Public Gallery ってのを知ったのでメモ。 目次 【1】AWS ECR Public Gallery 【2】IAMロール 【3】使用上の注意 1)ECR Public から VPC エンドポイント経由で Pull はできない 【4】使い方 1)docker login 2)dockerfile での…

【AWS】CloudFormation ~ Outputs ~

AWS

■ はじめに 今回は、AWS CloudFormation の Outputs について扱う。 ここ1~3ヶ月間、CloudFormation(cfn)を使ってきたが この Outputs で、ひとまず基本的なことは、大体わかったので良かった。 目次 【1】Outputsの書き方 【2】Outputs の参照 - !Impo…

【AWS】EC2 Image builder ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/23/235028 の続き。 今回は、EC2 Image builder の Hello World をやって EC2 Image builder がどういう感じなのか雰囲気を味わってみる 目次 【0】作成の流れ 【1】コンポーネント作成 【2】…

【AWS】CloudFormation ~ SNS ~

AWS

■ はじめに CloudFormation で SNS を作るところをメモ。 目次 【1】API 1)AWS::SNS::Topic 2)AWS::SNS::Subscription 【2】サンプル 例1:Hello world 【1】API 1)AWS::SNS::Topic * SNSのTopic作成 https://docs.aws.amazon.com/ja_jp/AWSCloudF…

【AWS】CloudFormation ~ Mappings ~

AWS

■ はじめに AWS CloudFormationで、 環境 (dev/stage/prod) によって値を切り替えたい。 https://dk521123.hatenablog.com/entry/2022/07/02/214543 で、条件分岐を行ったが、それ以外の方法で、 Mappings が使えそうなので、調べてみた 目次 【1】Mappings…

【AWS】IAM ~ 別AWSアカウントのS3にファイルアップロード ~

AWS

■ はじめに Github Workflow で Self-Hosted runner (EC2) 上で作成したファイルを この Self-Hosted runner とは、別のAWS アカウントにファイルを置きたい。 そこで、別AWSアカウントのS3にファイルをアップロードすることを 調べてみた。 目次 【1】やり…

【AWS】CloudFormation ~ VPC ~

AWS

■ はじめに 仕事で、ECR の VPC Endpoint が必要になった。 そこで、CloudFormation で VPC を作成する。 目次 【1】API 1)AWS::EC2::VPC 2)AWS::EC2::Subnet 3)AWS::EC2::VPCEndpoint 【2】使用上の注意 1)CloudFormation では VPC Endpoint の T…

【AWS】CloudFormation ~ Parameters ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/12/01/170326 で扱った Parameters について、業務でノウハウが溜まってきたので ここらでまとめてみる 目次 【1】Parameters 【2】使用上の注意 【3】Parameters を設定する 1)基本系 2)値を…

【トラブル】【AWS】CloudFormationで変数を参照したら、エラー「Unresolved resource dependencies」が表示

■ はじめに CloudFormation の変数に関する扱いで、 結構ハマったので、メモしておく これ以外のトラブルについては、以下の関連記事を参照のこと。 CloudFormation でのトラブル https://dk521123.hatenablog.com/entry/2022/05/30/191507 【1】現象概要 C…

【AWS】CloudFormation ~ AWS CLI ~

AWS

■ はじめに AWS CloudFormation について担当することになりそうで 後輩にGUIよりAWS CLIの方が作業しやすいですよって 教えてくれたので、メモ。感謝、、、 目次 【1】AWS CLI 1)aws cloudformation create-stack 2)aws cloudformation deploy 3)aws…

【AWS】Amazon SNS ~ AWS CLI ~

AWS

■ はじめに Github workflow の実装で、成功・失敗に関わらず、 通知機能を持たせようと考えていて、 Amazon SNS(Simple Notification Service)のAWS CLI で 実装してみたのだが、メッセージの改行で 意外にハマったのでメモっておく なお、Amazon SNSに関…

【AWS】CloudFormation ~ EC2 ~

AWS

■ はじめに 業務で、AWS CloudFormation (CFn) を使って EC2を立ち上げそうなので、予習しておく 目次 【1】CloudFormation による EC2 【2】API 【3】ソフトウェアをインストールするには 1)cfn-init ヘルパースクリプト 2)AWS CloudFormation のベ…

【AWS】CloudFormation ~ 基礎知識編 ~

AWS

■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【1】CloudFormation 1)動画 2)料金 【2】CloudFormation の流れ 1)スタック (Stacks) 2)テンプレート(Template) 【3】関連用語 1…

【AWS】Amazon ECR ~ boto3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…

【Terraform】Terraform ~ AWS CodeArtifact ~

■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【1】API 1)aws_codeartifact_repository 【2】使用上の注意 1)external_connections は1つしか指定できない 【3】サンプル 例1:既存のdomainを…

【AWS】AWS CodeArtifact ~ 独自JARをリポジトリにあげる ~

AWS

■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【1】JARをリポジトリにあげるには 【2】前提条件 1)IAMロール 【3】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…

【AWS】EC2 Image builder ~ 基礎知識編 ~

AWS

■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【1】EC2 Image builder 【2】用語整理 0)AMI (Amazon Machin Image) 1)コンポーネント (Components) 2)イメージレシピ (Image Recipes) 3)イメージパイプライン (Image Pi…

【AWS】Amazon ECR ~ 脆弱性診断 / Amazon Inspector ~

AWS

■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【1】Amazon Inspector 1)AWS ECR との連携 【2】脆弱性診断の On/Off 1)Terraform の場合 【3】スキャン開始タイミング…

【トラブル】【Airflow】MWAA で Secrets Manager の設定追加後にAirflow CLIからエラー

■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション(')ではなく ダブルクォーテーション(")で囲んだ方が トラブル少なく済みそう 【1】現象 MWAA で Secret…