AWS

【AWS】CloudFormation ~ IAM ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【1】IAM Role 1)RoleName 2)AssumeRolePolicyDocument …

【AWS】CloudFormation ~ KMS ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS(AWS Key Management Service) を作ってみる。 目次 【1】KMS Key 1)EnableKeyRotation 2)KeyPolicy 【2】KMS Alias 1)AliasName 2…

【AWS】CloudFormation ~ S3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…

【AWS】IAM ~ クロスアカウント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【1】クロスアカウント 【2】sts:AssumeRole 【3】外部ID(External ID) 1)イメージ 【4…

【AWS】CloudFormation ~ 開発環境 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【AWS】Amazon EMR ~ Auto scaling ~

AWS

■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【0】EMRの スケーリング方法 1)使用上の注意 2)比較 3)使い分け 【1】EMR-managed scaling 1)使用上の注意 【2】Custom automatic scaling policy 1)使…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【AWS】Amazon EMR ~ ネットワーク周り ~

AWS

■ はじめに Amazon EMR の ネットワーク周り(セキュリティグループ)について 学んだので、メモっておく。 (インフラ大変、、、) 目次 【1】セキュリティグループ(Security Group) 1)Master 2)Slave 3)ServiceAccess 4)その他 【1】セキュリ…

【AWS】起動中の EMR に Session Manager を使って入る

AWS

■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド(テキストベースのブラウザ表示) ってを学べたこと。 目次 【1】起動EMR 内に Session Manager を使って入る 【2】Hive コ…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【AWS】Amazon VPC ~ Reachability Analyzer ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/28/162514 https://dk521123.hatenablog.com/entry/2021/08/30/104237 のように、AWS環境下で、ConnectionTimeout Error などが起こった際に 通信の到達・未到達(未到達でもどこで繋がらないのか…

【AWS】AWS Glue ~ EventBridgeでGlue Workflowを起動する ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/16/161359 の続き。 今回は、実際に、EventBridgeを使って、 Glue Workflowを起動してみる 目次 【0】今回、やりたいこと 1)構成例 【1】EventBridge用のRoleを作成 1)IAM ロール 【2】Glu…

【AWS】Amazon WorkSpaces ~ クライアントアプリ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 の続き。 今回は、後述『【3】トラブル』により、 Amazon WorkSpaces の Client Appli(デスクトップアプリ)を インストー…

【AWS】Amazon EMR ~ Log4j / CVE-2021-44228 対策 ~

AWS

■ はじめに 今更だが、Log4j 脆弱性問題「CVE-2021-44228」について EMRでの対応について触れたので、メモしておく。 目次 【1】Log4j 脆弱性問題「CVE-2021-44228」 1)リスクについて 【2】EMRでの対策手順 1)パッチをダウンロードし、配置する 2)B…

【Pulumi】Pulumi ~ AWS SES のデプロイ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回、AWS SESに関する記事。 目次 【0】AWS SES に関する pulumi API 【1】Verified identities for Email 【0…

【トラブル】【AWS】EMR起動時にエラー「An EC2 ClientInternalError has occurred」が表示

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 の続き。 今回は、EMR起動しようとした際に エラー「An EC2 ClientInternalError has occurred」が表示されたので その際の詳細をメモしておく。 目次 【0】一口メモ 【1】概要 【2…

【AWS】Amazon S3 ~ あれこれ編 ~

AWS

■ はじめに Amazon S3 に関するメモ。 目次 【1】S3 Transfer Acceleration 【2】マルチパートアップロード 【3】MFA Delete 【1】S3 Transfer Acceleration https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/transfer-acceleration.html …

【AWS】Amazon ECS / Fargate ~ 基礎知識編 ~

AWS

■ はじめに Amazon ECS / Fargate に関するメモ、 【0】AWSでコンテナを起動する方法 1)EC2 2)AWS Fargate 4)AWS Fargate * サーバーレスのコンテナサービス * ECS と EKS の両方で動作する 【1】Amazon ECS (Elastic Container Service) * Docker …

【AWS】Amazon VPC ~ 基本編 / セキュリティグループ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/08/105415 https://dk521123.hatenablog.com/entry/2021/01/24/000000 の続き。 今回は、セキュリティグループについて、メモする。 目次 【1】セキュリティグループ(Security Group) 1)特徴…

【トラブル】【AWS】AWS Glue Job で ConnectionTimeoutError が発生する

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/30/104237 で、AWS Glue から RDS接続した際に、 Timeoutエラーになったことについて触れたが、 今回は、RDS接続ではなく(っというかRDS使ってない) Timeoutエラーになったので、その際のトラブ…

【Pulumi】Pulumi ~ AWSリソース情報を取得する ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回は、AWSリソース情報を取得する 目次 【1】AWSサービスのリソース情報を取得する 例1:SNSのTopic を取得す…

【AWS】Amazon VPC ~ 基本編 / VPCエンドポイント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/12/08/105415 https://dk521123.hatenablog.com/entry/2021/01/24/000000 の続き。 自分の中であいまいな「VPCエンドポイント」を取り上げる 目次 【1】VPCエンドポイント 【2】エンドポイントタイ…

【Pulumi】Pulumi ~ 入門編 / Hello World in AWS ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/07/233752 の続き。 今回は、AWS環境で行う。 目次 【0】「Get Started with AWS」について 1)目的 2)実行環境 【1】新規プロジェクトを作成する 1)ログイン 2)プロジェクトの作成 【2…

【AWS】Amazon SQS ~ 基礎知識編 ~

AWS

■ はじめに AWS提供のメッセージキューイングサービスである Amazon Simple Queue Service (SQS) について、メモ。 目次 【1】Amazon Simple Queue Service (SQS) 【2】SQSの機能 1)キュー管理 2)メッセージ管理 【3】キューの種類 1)Standardキュ…

【AWS】CloudWatch ~ 基礎知識編 ~

AWS

■ はじめに AWS CloudWatch について、メモする。 目次 【0】Amazon CloudWatch 【1】CloudWatch 【2】メトリクス (Metrics) 1)標準メトリクス 2)カスタムメトリクス 【3】CloudWatch Logs 1)注意点 【4】CloudWatch Events (EventBridge) 1)関…

【Pulumi】Pulumi ~ AWS S3 / KMS のデプロイ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 Glueデプロイ時にPythonスクリプトなどをS3にあげる必要があるので その方法などをメモっとく また、S3で使っているKMSに関してもついでに調べてみた。 目次 【1】S3 1)Buc…

【Pulumi】Pulumi ~ AWS Glue のデプロイ ~

■ はじめに 以下の関連記事で、 Boto3を使って、AWS Glue componentを作成したが https://dk521123.hatenablog.com/entry/2019/10/14/000000 https://dk521123.hatenablog.com/entry/2021/04/16/135558 https://dk521123.hatenablog.com/entry/2020/01/29/22…

【IT資格】AWS認定 ~ アソシエイト/ソリューションアーキテクト ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/28/162154 の続き。 今回は、 AWS認定ソリューションアーキテクト アソシエイト(SAA-C02) に関して、まとめる あと、今後の自分の課題についても洗い出す。 目次 【0】試験について 1)試験名 …