AWS

【AWS】IAM ~ アクセスキー ~

AWS

■ はじめに AWS アクセスキーのローテーションについて触れたので そもそものアクセスキーから勉強する。 目次 【1】アクセスキー 1)アクセスキー ID 2)シークレットアクセスキー 【2】メリット・デメリット 1)メリット 2)デメリット 【3】アクセ…

【AWS】Transfer Family ~ 入門編 ~

AWS

■ はじめに 業務で、AWSのSFTPサーバに関するサービスで AWS Transfer Family があるって聞いたので、メモ 目次 【1】AWS Transfer Family 【2】アーキテクト 【3】料金 【1】AWS Transfer Family * フルマネージドな ファイル送受信転送サービス => フ…

【AWS】Amazon Cognito ~ 基礎知識編 ~

AWS

■ はじめに Amazon Cognito (コグニート) についてメモ。 【1】Amazon Cognito ウェブ/モバイルアプリに簡単に ユーザーの認証、アクセスコントロールの機能を 追加できるAWSサービス cf. incognito = 匿名の 【2】コンポーネント 1)ユーザープール * ア…

【AWS】AWS Control Tower ~ 基礎知識編 ~

AWS

■ はじめに AWS Control Tower について扱う 目次 【0】AWS Control Tower 1)関連用語 【1】AWS Organizations 1)実現できること 【2】AWS Service Catalog 【3】AWS IAM Identity Center 【4】AWS Config 【0】AWS Control Tower * マルチアカウ…

【AWS】AWS Glue ~ パフォーマンスチューニング ~

AWS

■ はじめに AWS Glue をつかって、でかいデータを扱ってているのだが 想定していたより、でかいデータだったので、 Glue Jobの パフォーマンスをチューニングする際の知識を 調べたので、メモする。 目次 【1】パフォーマンスに関わるジョブプロパティ 1)…

【トラブル】【AWS】Glue Job を並列で動かそうとしたら ConcurrentRunsExceededExceptionが発生

■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【1】トラブル概要 【2】エラーメッセージ 【3】…

【トラブル】【AWS】Glue Jobを起動した際にエラー「LANCH ERROR | java.net.URISyntaxException」が発生

■ はじめに 久しぶりにAWS Glue に関するトラブルシューティング。 本件以外のAWS Glue に関するトラブルは関連記事を参照のこと。 【1】エラー概要 AWS Glue Jobを起動した際に、以下「エラー内容」が表示された。 指定されているパス (今回の場合「s3://…

【AWS】AWS Glue ~ ジョブパラメータ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 (全部は多すぎるので、Pythonと使用しそうなものに…

【AWS】AWS Glue ~ Python shell job ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…

【AWS】IAM ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 IAM について、もう少し掘り下げる。 目次 【1】IAM 1)認証 (Authentication) 2)認可 (Authorization) 【2】IAMユーザ・グループ 1)認証種類 2)MFA設定手順 【3】I…

【AWS】CloudFormation ~ 条件分岐 ~

AWS

■ はじめに AWS CloudFormation で、Booleanの入力パラメータで Roleを付与するかしないかを扱った。 その中で、Conditions セクションや条件関数(!IF、!Equals)を やったのでメモっておく。 目次 【1】条件関数 1)Fn::Equals(!Equals) 2)Fn::If(!…

【トラブル】【AWS】クロスアカウントでのS3アクセスに関するトラブル

■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【0】教訓:S3バケットのアクセストラブルの勘所 【1】エラー「An error occured (403) when calling the HeadObject operation: Forbid…

【AWS】機密データの管理 ~ Secrets Manager / AWS CLI 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…

【AWS】AWS Service Catalog ~ 基礎知識編 ~

AWS

■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【1】AWS Service Catalog 1)利点 【2】用語整理 1)Product (製品) 2)Portfolio(ポートフォリオ) 3)制約 4)Provisioned product (プロビジョニングされた製品) 【3】設…

【AWS】AWS Service Catalog ~ AWS CLI ~

AWS

■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【0】Service Catalog の AWS CLI 1)使用上の注意 【1】aws servicecatalog provision-product 【2】aws servicecatalog describe-record 【0】Service Catalog の AWS CLI * 以…

【AWS】【トラブル】エラー「Invalid length for parameter SAMLMetadataDocument」が発生

■ はじめに AWS CLI実行で少しハマったのでメモ。 【1】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…

【AWS】【トラブル】CloudFormation でのトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 目次 【1】エラー「Service: Amazon S3; Status Code: 400・・・」発生 【2】エラー「Stack name must…

【AWS】CloudFormation ~ IAM ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【1】IAM Role 1)RoleName 2)AssumeRolePolicyDocument …

【AWS】CloudFormation ~ KMS ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS(AWS Key Management Service) を作ってみる。 なお、AWS KMS については、以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/e…

【AWS】CloudFormation ~ S3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…

【AWS】IAM ~ クロスアカウント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【1】クロスアカウント 【2】STS (Security Token Service) 1)sts:AssumeRole 2)AWS CLI…

【AWS】CloudFormation ~ 開発環境 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【AWS】Amazon EMR ~ Auto scaling ~

AWS

■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【0】EMRの スケーリング方法 1)使用上の注意 2)比較 3)使い分け 【1】EMR-managed scaling 1)使用上の注意 【2】Custom automatic scaling policy 1)使…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【AWS】Amazon EMR ~ ネットワーク周り ~

AWS

■ はじめに Amazon EMR の ネットワーク周り(セキュリティグループ)について 学んだので、メモっておく。 (インフラ大変、、、) 目次 【1】セキュリティグループ(Security Group) 1)Master 2)Slave 3)ServiceAccess 4)その他 【1】セキュリ…

【AWS】起動中の EMR に Session Manager を使って入る

AWS

■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド(テキストベースのブラウザ表示) ってを学べたこと。 目次 【1】起動EMR 内に Session Manager を使って入る 【2】Hive コ…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【AWS】Amazon VPC ~ Reachability Analyzer ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/28/162514 https://dk521123.hatenablog.com/entry/2021/08/30/104237 のように、AWS環境下で、ConnectionTimeout Error などが起こった際に 通信の到達・未到達(未到達でもどこで繋がらないのか…