AWS

【AWS】Amazon ECR ~ pull through cache rules ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/04/08/184035 の続き。 現状 ECR Public の VPC エンドポイントは未サポートのため AWS ECR Public Gallery 内のDockerイメージを VPC エンドポイント経由で Pull はできない(※1)。 そこで、「pul…

【AWS】Amazon ECR ~ AWS ECR Public Gallery ~

AWS

■ はじめに AWS ECR Public Gallery ってのを知ったのでメモ。 目次 【1】AWS ECR Public Gallery 【2】IAMロール 【3】使用上の注意 1)ECR Public から VPC エンドポイント経由で Pull はできない 【4】使い方 1)docker login 2)dockerfile での…

【AWS】CloudFormation ~ Outputs ~

AWS

■ はじめに 今回は、AWS CloudFormation の Outputs について扱う。 ここ1~3ヶ月間、CloudFormation(cfn)を使ってきたが この Outputs で、ひとまず基本的なことは、大体わかったので良かった。 目次 【1】Outputsの書き方 【2】Outputs の参照 - !Impo…

【AWS】EC2 Image builder ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/23/235028 の続き。 今回は、EC2 Image builder の Hello World をやって EC2 Image builder がどういう感じなのか雰囲気を味わってみる 目次 【0】作成の流れ 【1】コンポーネント作成 【2】…

【AWS】CloudFormation ~ SNS ~

AWS

■ はじめに CloudFormation で SNS を作るところをメモ。 目次 【1】API 1)AWS::SNS::Topic 2)AWS::SNS::Subscription 【2】サンプル 例1:Hello world 【1】API 1)AWS::SNS::Topic * SNSのTopic作成 https://docs.aws.amazon.com/ja_jp/AWSCloudF…

【AWS】CloudFormation ~ Mappings ~

AWS

■ はじめに AWS CloudFormationで、 環境 (dev/stage/prod) によって値を切り替えたい。 https://dk521123.hatenablog.com/entry/2022/07/02/214543 で、条件分岐を行ったが、それ以外の方法で、 Mappings が使えそうなので、調べてみた 目次 【1】Mappings…

【AWS】IAM ~ 別AWSアカウントのS3にファイルアップロード ~

AWS

■ はじめに Github Workflow で Self-Hosted runner (EC2) 上で作成したファイルを この Self-Hosted runner とは、別のAWS アカウントにファイルを置きたい。 そこで、別AWSアカウントのS3にファイルをアップロードすることを 調べてみた。 目次 【1】やり…

【AWS】CloudFormation ~ VPC ~

AWS

■ はじめに 仕事で、ECR の VPC Endpoint が必要になった。 そこで、CloudFormation で VPC を作成する。 目次 【1】API 1)AWS::EC2::VPC 2)AWS::EC2::Subnet 3)AWS::EC2::VPCEndpoint 【2】使用上の注意 1)CloudFormation では VPC Endpoint の T…

【AWS】CloudFormation ~ Parameters ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/12/01/170326 で扱った Parameters について、業務でノウハウが溜まってきたので ここらでまとめてみる 目次 【1】Parameters 【2】使用上の注意 【3】Parameters を設定する 1)基本系 2)値を…

【トラブル】【AWS】CloudFormationで変数を参照したら、エラー「Unresolved resource dependencies」が表示

■ はじめに CloudFormation の変数に関する扱いで、 結構ハマったので、メモしておく これ以外のトラブルについては、以下の関連記事を参照のこと。 CloudFormation でのトラブル https://dk521123.hatenablog.com/entry/2022/05/30/191507 【1】現象概要 C…

【AWS】CloudFormation ~ AWS CLI ~

AWS

■ はじめに AWS CloudFormation について担当することになりそうで 後輩にGUIよりAWS CLIの方が作業しやすいですよって 教えてくれたので、メモ。感謝、、、 目次 【1】AWS CLI 1)aws cloudformation create-stack 2)aws cloudformation deploy 3)aws…

【AWS】Amazon SNS ~ AWS CLI ~

AWS

■ はじめに Github workflow の実装で、成功・失敗に関わらず、 通知機能を持たせようと考えていて、 Amazon SNS(Simple Notification Service)のAWS CLI で 実装してみたのだが、メッセージの改行で 意外にハマったのでメモっておく なお、Amazon SNSに関…

【AWS】CloudFormation ~ EC2 ~

AWS

■ はじめに 業務で、AWS CloudFormation (CFn) を使って EC2を立ち上げそうなので、予習しておく 目次 【1】CloudFormation による EC2 【2】API 【3】ソフトウェアをインストールするには 1)cfn-init ヘルパースクリプト 2)AWS CloudFormation のベ…

【AWS】CloudFormation ~ 基礎知識編 ~

AWS

■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【1】CloudFormation 1)動画 2)料金 【2】CloudFormation の流れ 1)スタック (Stacks) 2)テンプレート(Template) 【3】関連用語 1…

【AWS】Amazon ECR ~ boto3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…

【Terraform】Terraform ~ AWS CodeArtifact ~

■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【1】API 1)aws_codeartifact_repository 【2】使用上の注意 1)external_connections は1つしか指定できない 【3】サンプル 例1:既存のdomainを…

【AWS】AWS CodeArtifact ~ 独自JARをリポジトリにあげる ~

AWS

■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【1】JARをリポジトリにあげるには 【2】前提条件 1)IAMロール 【3】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…

【AWS】EC2 Image builder ~ 基礎知識編 ~

AWS

■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【1】EC2 Image builder 【2】用語整理 0)AMI (Amazon Machin Image) 1)コンポーネント (Components) 2)イメージレシピ (Image Recipes) 3)イメージパイプライン (Image Pi…

【AWS】Amazon ECR ~ 脆弱性診断 / Amazon Inspector ~

AWS

■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【1】Amazon Inspector 1)AWS ECR との連携 【2】脆弱性診断の On/Off 1)Terraform の場合 【3】スキャン開始タイミング…

【トラブル】【Airflow】MWAA で Secrets Manager の設定追加後にAirflow CLIからエラー

■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション(')ではなく ダブルクォーテーション(")で囲んだ方が トラブル少なく済みそう 【1】現象 MWAA で Secret…

【AWS】Amazon EC2 ~ amazon-linux-extras ~

AWS

■ はじめに Amazon Linux 2の Extras Library(amazon-linux-extras) について 今後の作業にも関係しそうなので、まとめておく 目次 【1】Extras Library(amazon-linux-extras) 【2】用語整理 1)トピック 【3】使用上の注意 1)サポート範囲は、 Amazon…

【AWS】AWS CodeArtifact ~ AWS CLI ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 の続き。 今回は、CI/CD で Github Actions から、 AWS CodeArtifact にアクセスするために必要そうな AWS CLI を調べたので…

【AWS】AWS CodeArtifact ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 の続き。 今回は、AWS CodeArtifact を構築するのを調べてみた 目次 【1】作成手順 Step1: Create repository Step2: Select domain Step3: Review and create 【1】作成手順 * 作成…

【AWS】AWS CLI ~ --query / JMESPath ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/14/005148 からの分冊。 AWS CLI には、--query ってのがあって、 ~~~~ --query (string) A JMESPath query to use in filtering the response data. ~~~~ ってなっていたので、「JMESPath」って…

【AWS】Amazon ECR ~ AWS CLI ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2023/12/02/024631 の続き。 今回は、Amazon ECR の AWS CLI について扱う。 主に、…

【トラブル】【AWS】S3権限周りのトラブルシュート

■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …

【Airflow】MWAA ~ Variable ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【1】公式ドキュメントのサンプル 1)前提条件 2)サンプル 【2】AWS CLI …

【AWS】AWS CodeArtifact ~ 基礎知識編 ~

AWS

■ はじめに AWS CodeArtifact について、初めて聞いたので、 まずは、メモる。 目次 【1】AWS CodeArtifact 【2】用途 【3】サポート・リポジトリ 【4】用語整理 1)リポジトリ(Repository) 2)ドメイン(Domain) 3)アセット(Asset) 【1】AWS …

【AWS】Amazon WorkSpaces ~ バンドル ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【1】WorkSpaces起動するための流れ 【2】用語整理 1)カスタムイメ…

【AWS】Amazon ECR ~ Dockerイメージを Pull & Push ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【1】リポジトリ作成 【2】環境構築を行う 1)EC2 の Role…