AWS
■ はじめに AWS CloudFormation (CFn) について 業務で触る可能性が出てきたので、知識を整理・復習する 目次 【１】CloudFormation １）動画 ２）料金 【２】CloudFormation の流れ １）スタック (Stacks) ２）テンプレート（Template） 【３】関連用語 １…
■ はじめに https://dk521123.hatenablog.com/entry/2024/01/05/000000 https://dk521123.hatenablog.com/entry/2024/01/22/210831 で、Amazon ECR の Dockerイメージのスキャンについて触れたが、 エラーを解消できても、時間が経つと別のエラーが検知され…
■ はじめに AWS CodeArtifact の環境を軽くTerraformで作ったので そこで得たことをメモっておく 目次 【１】API １）aws_codeartifact_repository 【２】使用上の注意 １）external_connections は1つしか指定できない 【３】サンプル 例１：既存のdomainを…
■ はじめに 今回は、独自のJARなどを AWS CodeArtifact のリポジトリにあげる方法について 記録しておく 目次 【１】JARをリポジトリにあげるには 【２】前提条件 １）IAMロール 【３】手順 Step1: CodeArtifact 認証トークンを取得 Step2: JAR を CodeArtif…
■ はじめに EC2 Image builder について、少しづつだがメモっていく 目次 【１】EC2 Image builder 【２】用語整理 ０）AMI (Amazon Machin Image) １）コンポーネント (Components) ２）イメージレシピ (Image Recipes) ３）イメージパイプライン (Image Pi…
■ はじめに Amazon ECR は、簡単に 脆弱性診断サービス Amazon Inspector が 使えるので、そのことについて、メモっておく 目次 【１】Amazon Inspector １）AWS ECR との連携 【２】脆弱性診断の On/Off １）Terraform の場合 【３】スキャン開始タイミング…
■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション（'）ではなく ダブルクォーテーション（"）で囲んだ方が トラブル少なく済みそう 【１】現象 MWAA で Secret…
■ はじめに Amazon Linux 2の Extras Library(amazon-linux-extras) について 今後の作業にも関係しそうなので、まとめておく 目次 【１】Extras Library(amazon-linux-extras) 【２】用語整理 １）トピック 【３】使用上の注意 １）サポート範囲は、 Amazon…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 https://dk521123.hatenablog.com/entry/2024/01/11/233802 の続き。 今回は、CI/CD で Github Actions から、 AWS CodeArtifact にアクセスするために必要そうな AWS CLI を調べたので…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/26/012343 の続き。 今回は、AWS CodeArtifact を構築するのを調べてみた 目次 【１】作成手順 Step1: Create repository Step2: Select domain Step3: Review and create 【１】作成手順 * 作成…
■ はじめに https://dk521123.hatenablog.com/entry/2024/01/14/005148 からの分冊。 AWS CLI には、--query ってのがあって、 ~~~~ --query (string) A JMESPath query to use in filtering the response data. ~~~~ ってなっていたので、「JMESPath」って…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 https://dk521123.hatenablog.com/entry/2023/12/02/024631 の続き。 今回は、Amazon ECR の AWS CLI について扱う。 主に、…
■ はじめに Amazon S3 の権限エラーが多いので、それらをまとめておく。 目次 【１】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 【１】EC2 から 「aws s3 ls」したらエラー「ListBuckets operation: Access Denied」 EC2 …
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【１】公式ドキュメントのサンプル １）前提条件 ２）サンプル 【２】AWS CLI …
■ はじめに AWS CodeArtifact について、初めて聞いたので、 まずは、メモる。 目次 【１】AWS CodeArtifact 【２】用途 【３】サポート・リポジトリ 【４】用語整理 １）リポジトリ（Repository） ２）ドメイン（Domain） ３）アセット（Asset） 【１】AWS …
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/27/140821 で、Amazon WorkSpaces の Ubuntu Desktop を作成したのだが そのバンドルを作ることになったので、メモ。 目次 【１】WorkSpaces起動するための流れ 【２】用語整理 １）カスタムイメ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/05/22/165711 https://dk521123.hatenablog.com/entry/2020/05/26/142645 の続き。 今回は、Dockerイメージを Pull & Pushをメモ。 目次 【１】リポジトリ作成 【２】環境構築を行う １）EC2 の Role…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 https://dk521123.hatenablog.com/entry/2022/04/19/140219 の続き。 Amazon WorkSpaces の Ubuntu Desktop を扱うことにな…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 https://dk521123.hatenablog.com/entry/2023/11/03/234825 の続き。 今回は、sls offline について扱う。 目次 【１】sls offline 【２】インストール １）確認 【３】起動の仕方 【４…
■ はじめに https://dk521123.hatenablog.com/entry/2023/11/02/000200 の続き。 今回は、Serverless Framework を使って サービス作成～サービス削除まで、Hello worldしてみる 目次 【１】AWSアカウントの設定 【２】サービス作成 【３】サービスのデプロ…
■ はじめに Serverless Framework ってのを触る機会があったのでメモ。 インストールでかなりハマったが、 AWSアカウントがなくても、ローカル環境で簡単に AWS Lambda の開発できるので、かなりいい、、、 目次 【１】Serverless Framework 【２】環境設定 …
■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【１】MWAA Local で AWSに繋げるようにするには Case１：docker/config/.env.localrunner に追…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…
■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2020/07/15/162459 の続き。 Lake Formation + Athena のデータアクセス調査の一環で AWA Athena （アテナ）に関連するAWS CLI を使ったので メ…
■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【１】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【１】Flink を…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【１】Flink 実行までの手順 Step１：EMRクラスタを作成 Step２：Flink YARNを開…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMRのFlinkにおいて、 AWS Glue Data Catalog を使用する際の技術事項をメモっておく 目次 【０】注意点 １）AWS EMR の Flink 部分の公式ドキュメントの日本…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【１】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/11/135632 で、AWS EMR 内の EC2 内を Session Manager で入ることをやったが 今回、初めから自分でインフラ部分も設定したので、 その時のノウハウをまとめておく 目次 【１】EMRでSession Manag…
