AWS

【AWS】AWS Glue ~ ジョブパラメータ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 (全部は多すぎるので、Pythonと使用しそうなものに…

【AWS】AWS Glue ~ Python shell job ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…

【AWS】IAM ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 IAM について、もう少し掘り下げる。 目次 【1】IAM 1)認証 (Authentication) 2)認可 (Authorization) 【2】IAMユーザ・グループ 1)認証種類 2)MFA設定手順 【3】I…

【AWS】CloudFormation ~ 条件分岐 ~

AWS

■ はじめに AWS CloudFormation で、Booleanの入力パラメータで Roleを付与するかしないかを扱った。 その中で、Conditions セクションや条件関数(!IF、!Equals)を やったのでメモっておく。 目次 【1】条件関数 1)Fn::Equals(!Equals) 2)Fn::If(!…

【トラブル】【AWS】クロスアカウントでのS3アクセスに関するトラブル

■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

【AWS】機密データの管理 ~ Secrets Manager / AWS CLI 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…

【AWS】AWS Service Catalog ~ 基礎知識編 ~

AWS

■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【1】AWS Service Catalog 1)利点 【2】用語整理 1)Product (製品) 2)Portfolio(ポートフォリオ) 3)制約 4)Provisioned product (プロビジョニングされた製品) 【3】設…

【AWS】AWS Service Catalog ~ AWS CLI ~

AWS

■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【0】Service Catalog の AWS CLI 1)使用上の注意 【1】aws servicecatalog provision-product 【2】aws servicecatalog describe-record 【0】Service Catalog の AWS CLI * 以…

【AWS】【トラブル】エラー「Invalid length for parameter SAMLMetadataDocument」が発生

■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…

【AWS】【トラブル】CloudFormation でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 目次 【1】エラー「Service: Amazon S3; Status Code: 400・・・」発生 【2】エラー「Stack name must…

【AWS】CloudFormation ~ IAM ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【1】IAM Role 1)RoleName 2)AssumeRolePolicyDocument …

【AWS】CloudFormation ~ KMS ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS(AWS Key Management Service) を作ってみる。 なお、AWS KMS については、以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/e…

【AWS】CloudFormation ~ S3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…

【AWS】IAM ~ クロスアカウント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【1】クロスアカウント 【2】STS (Security Token Service) 1)sts:AssumeRole 2)AWS CLI…

【AWS】CloudFormation ~ 開発環境 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【AWS】Amazon EMR ~ Auto scaling ~

AWS

■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【0】EMRの スケーリング方法 1)使用上の注意 2)比較 3)使い分け 【1】EMR-managed scaling 1)使用上の注意 【2】Custom automatic scaling policy 1)使…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【AWS】Amazon EMR ~ ネットワーク周り ~

AWS

■ はじめに Amazon EMR の ネットワーク周り(セキュリティグループ)について 学んだので、メモっておく。 (インフラ大変、、、) 目次 【1】セキュリティグループ(Security Group) 1)Master 2)Slave 3)ServiceAccess 4)その他 【1】セキュリ…

【AWS】起動中の EMR に Session Manager を使って入る

AWS

■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド(テキストベースのブラウザ表示) ってを学べたこと。 目次 【1】起動EMR 内に Session Manager を使って入る 【2】Hive コ…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【AWS】Amazon VPC ~ Reachability Analyzer ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/28/162514 https://dk521123.hatenablog.com/entry/2021/08/30/104237 のように、AWS環境下で、ConnectionTimeout Error などが起こった際に 通信の到達・未到達(未到達でもどこで繋がらないのか…

【AWS】AWS Glue ~ EventBridgeでGlue Workflowを起動する ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/16/161359 の続き。 今回は、実際に、EventBridgeを使って、 Glue Workflowを起動してみる 目次 【0】今回、やりたいこと 1)構成例 【1】EventBridge用のRoleを作成 1)IAM ロール 【2】Glu…

【AWS】Amazon WorkSpaces ~ クライアントアプリ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 の続き。 今回は、後述『【3】ブラウザ接続でのトラブル』により、 Amazon WorkSpaces の Client Appli(デスクトップアプ…

【AWS】Amazon EMR ~ Log4j / CVE-2021-44228 対策 ~

AWS

■ はじめに 今更だが、Log4j 脆弱性問題「CVE-2021-44228」について EMRでの対応について触れたので、メモしておく。 目次 【1】Log4j 脆弱性問題「CVE-2021-44228」 1)リスクについて 【2】EMRでの対策手順 1)パッチをダウンロードし、配置する 2)B…

【Pulumi】Pulumi ~ AWS SES のデプロイ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回、AWS SESに関する記事。 目次 【0】AWS SES に関する pulumi API 【1】Verified identities for Email 【0…

【トラブル】【AWS】EMR起動時にエラー「An EC2 ClientInternalError has occurred」が表示

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 の続き。 今回は、EMR起動しようとした際に エラー「An EC2 ClientInternalError has occurred」が表示されたので その際の詳細をメモしておく。 目次 【0】一口メモ 【1】概要 【2…

【AWS】Amazon S3 ~ あれこれ編 ~

AWS

■ はじめに Amazon S3 に関するメモ。 目次 【1】S3 Transfer Acceleration 【2】マルチパートアップロード 【3】MFA Delete 【1】S3 Transfer Acceleration https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/transfer-acceleration.html …

【AWS】Amazon ECS / Fargate ~ 基礎知識編 ~

AWS

■ はじめに Amazon ECS / Fargate に関するメモ、 【0】AWSでコンテナを起動する方法 1)EC2 2)AWS Fargate 4)AWS Fargate * サーバーレスのコンテナサービス * ECS と EKS の両方で動作する 【1】Amazon ECS (Elastic Container Service) * Docker …