AWS

【AWS】CloudFormation ~ AWS CLI ~

AWS

■ はじめに AWS CloudFormation について担当することになりそうで 後輩にGUIよりAWS CLIの方が作業しやすいですよって 教えてくれたので、メモ。感謝、、、 目次 【1】AWS CLI 1)aws cloudformation create-stack 2)aws cloudformation deploy 3)aws…

【AWS】Amazon SNS ~ AWS CLI ~

AWS

■ はじめに Github workflow の実装で、成功・失敗に関わらず、 通知機能を持たせようと考えていて、 Amazon SNS(Simple Notification Service)のAWS CLI で 実装してみたのだが、メッセージの改行で 意外にハマったのでメモっておく なお、Amazon SNSに関…

【AWS】CloudFormation ~ EC2 ~

AWS

■ はじめに 業務で、AWS CloudFormation (CFn) を使って EC2を立ち上げそうなので、予習しておく 目次 【1】CloudFormation による EC2 【2】API 【3】ソフトウェアをインストールするには 1)cfn-init ヘルパースクリプト 2)AWS CloudFormation のベ…

【AWS】CloudFormation ~ 基礎知識編 ~

AWS

■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【1】CloudFormation 1)動画 2)料金 【2】CloudFormation の流れ 1)スタック (Stacks) 2)テンプレート(Template) 【3】関連用語 1…

【AWS】Amazon ECR ~ boto3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…

【Terraform】Terraform ~ AWS CodeArtifact ~

■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【1】API 1)aws_codeartifact_repository 【2】使用上の注意 1)external_connections は1つしか指定できない 【3】サンプル 例1:既存のdomainを…

【AWS】AWS CodeArtifact ~ 独自JARをリポジトリにあげる ~

AWS

■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【1】JARをリポジトリにあげるには 【2】前提条件 1)IAMロール 【3】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…

【AWS】EC2 Image builder ~ 基礎知識編 ~

AWS

■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【1】EC2 Image builder 【2】用語整理 1)コンポーネント 2)イメージレシピ 3)イメージパイプライン 4)ゴールデンイメージ 【3】料金 【4】サポート状況 1)OS 2)出力…

【AWS】Amazon ECR ~ 脆弱性診断 / Amazon Inspector ~

AWS

■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【1】Amazon Inspector 1)AWS ECR との連携 【2】脆弱性診断の On/Off 1)Terraform の場合 【3】スキャン開始タイミング…

【トラブル】【Airflow】MWAA で Secrets Manager の設定追加後にAirflow CLIからエラー

■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション(')ではなく ダブルクォーテーション(")で囲んだ方が トラブル少なく済みそう 【1】現象 MWAA で Secret…

【AWS】Amazon EC2 ~ amazon-linux-extras ~

AWS

■ はじめに Amazon Linux 2の Extras Library(amazon-linux-extras) について 今後の作業にも関係しそうなので、まとめておく 目次 【1】Extras Library(amazon-linux-extras) 【2】用語整理 1)トピック 【3】使用上の注意 1)サポート範囲は、 Amazon…

【AWS】AWS CodeArtifact ~ AWS CLI ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 の続き。 今回は、CI/CD で Github Actions から、 AWS CodeArtifact にアクセスするために必要そうな AWS CLI を調べたので…

【AWS】AWS CodeArtifact ~ 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 の続き。 今回は、AWS CodeArtifact を構築するのを調べてみた 目次 【1】作成手順 Step1: Create repository Step2: Select domain Step3: Review and create 【1】作成手順 * 作成…

【AWS】AWS CLI ~ --query / JMESPath ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2024/01/14/005148 からの分冊。 AWS CLI には、--query ってのがあって、 ~~~~ --query (string) A JMESPath query to use in filtering the response data. ~~~~ ってなっていたので、「JMESPath」って…

【AWS】Amazon ECR ~ AWS CLI ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2023/12/02/024631 の続き。 今回は、Amazon ECR の AWS CLI について扱う。 主に、…

【トラブル】【AWS】S3権限周りのトラブルシュート

■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【1】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …

【Airflow】MWAA ~ Variable ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【1】公式ドキュメントのサンプル 1)前提条件 2)サンプル 【2】AWS CLI …

【AWS】AWS CodeArtifact ~ 基礎知識編 ~

AWS

■ はじめに AWS CodeArtifact について、初めて聞いたので、 まずは、メモる。 目次 【1】AWS CodeArtifact 【2】用途 【3】サポート・リポジトリ 【4】用語整理 1)リポジトリ(Repository) 2)ドメイン(Domain) 3)アセット(Asset) 【1】AWS …

【AWS】Amazon WorkSpaces ~ バンドル ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【1】WorkSpaces起動するための流れ 【2】用語整理 1)カスタムイメ…

【AWS】Amazon ECR ~ Dockerイメージを Pull & Push ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【1】リポジトリ作成 【2】環境構築を行う 1)EC2 の Role…

【AWS】Amazon WorkSpaces ~ Ubuntu Desktop ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 https://dk521123.hatenablog.com/entry/2022/04/19/140219 の続き。 Amazon WorkSpaces の Ubuntu Desktop を扱うことにな…

【Serverless】Serverless Framework ~ offline ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 https://dk521123.hatenablog.com/entry/2023/11/03/234825 の続き。 今回は、sls offline について扱う。 目次 【1】sls offline 【2】インストール 1)確認 【3】起動の仕方 【4…

【Serverless】Serverless Framework ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 の続き。 今回は、サービス作成~サービス削除まで、 Hello worldしてみる 目次 【1】AWSアカウントの設定 【2】サービス作成 【3】サービスのデプロイ 【4】Lambdaの実行 【5】サ…

【Serverless】Serverless Framework ~ 環境設定編 ~

■ はじめに Serverless Framework ってのを触る機会があったのでメモ。 インストールでかなりハマったが、 AWSアカウントがなくても、ローカル環境で簡単に AWS Lambda の開発できるので、かなりいい、、、 目次 【1】Serverless Framework 【2】環境設定 …

【Airflow】MWAA Local ~ AWSに繋げるようにするには ~

■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【1】MWAA Local で AWSに繋げるようにするには Case1:docker/config/.env.localrunner に追…

【Airflow】MWAA Local ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…

【AWS】Athena ~ AWS CLI ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2020/07/15/162459 の続き。 Lake Formation + Athena のデータアクセス調査の一環で AWA Athena (アテナ)に関連するAWS CLI を使ったので メ…

【トラブル】【AWS】デタッチしたらエラー「You do not have permission...」表示

■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【1】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…

【AWS】Amazon EMR ~ Flink / あれこれ編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【1】Flink を…

【AWS】Amazon EMR ~ Flink / 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【1】Flink 実行までの手順 Step1:EMRクラスタを作成 Step2:Flink YARNを開…