AWS
■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【０】EMRの スケーリング方法 １）使用上の注意 ２）比較 ３）使い分け 【１】EMR-managed scaling １）使用上の注意 【２】Custom automatic scaling policy １）使…
■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【１】トラブル概要 １）発生環境 ２）現象補足 【２】エラー内容 １）EMR Step内のエラー内容 ２）Tracking URL からのエラー情報 【３】原因 【４】解決案 【１】トラブル概要 EMR 内で…
■ はじめに Amazon EMR の ネットワーク周り（セキュリティグループ）について 学んだので、メモっておく。 （インフラ大変、、、） 目次 【１】セキュリティグループ（Security Group） １）Master ２）Slave ３）ServiceAccess ４）その他 【１】セキュリ…
■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド（テキストベースのブラウザ表示） ってを学べたこと。 後日談： 設定については、以下の関連記事を参照のこと Amazon EMR ～ …
■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/03/28/162514 https://dk521123.hatenablog.com/entry/2021/08/30/104237 のように、AWS環境下で、ConnectionTimeout Error などが起こった際に 通信の到達・未到達（未到達でもどこで繋がらないのか…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/16/161359 の続き。 今回は、実際に、EventBridgeを使って、 Glue Workflowを起動してみる 目次 【０】今回、やりたいこと １）構成例 【１】EventBridge用のRoleを作成 １）IAM ロール 【２】Glu…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 の続き。 今回は、後述『【３】ブラウザ接続でのトラブル』により、 Amazon WorkSpaces の Client Appli（デスクトップアプ…
■ はじめに 今更だが、Log4j 脆弱性問題「CVE-2021-44228」について EMRでの対応について触れたので、メモしておく。 目次 【１】Log4j 脆弱性問題「CVE-2021-44228」 １）リスクについて 【２】EMRでの対策手順 １）パッチをダウンロードし、配置する ２）B…
■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回、AWS SESに関する記事。 目次 【０】AWS SES に関する pulumi API 【１】Verified identities for Email 【０…
■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 の続き。 今回は、EMR起動しようとした際に エラー「An EC2 ClientInternalError has occurred」が表示されたので その際の詳細をメモしておく。 目次 【０】一口メモ 【１】概要 【２…
■ はじめに Amazon S3 に関するメモ。 目次 【１】S3 Transfer Acceleration 【２】マルチパートアップロード 【３】MFA Delete 【１】S3 Transfer Acceleration https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/transfer-acceleration.html …
■ はじめに Amazon ECS / Fargate に関するメモ。 目次 【１】Amazon ECS １）AWS Fargate ２）補足：類似するAWSサービス 【２】Amazon ECS の基本的な概念 １）クラスタ ２）タスク ３）サービス ４）メモ 【１】Amazon ECS * ECS = Elastic Container Ser…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/08/105415 https://dk521123.hatenablog.com/entry/2021/01/24/000000 の続き。 今回は、セキュリティグループについて、メモする。 目次 【１】セキュリティグループ（Security Group） １）特徴…
■ はじめに https://dk521123.hatenablog.com/entry/2021/08/30/104237 で、AWS Glue から RDS接続した際に、 Timeoutエラーになったことについて触れたが、 今回は、RDS接続ではなく（っというかRDS使ってない） Timeoutエラーになったので、その際のトラブ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回は、AWSリソース情報を取得する 目次 【１】AWSサービスのリソース情報を取得する 例１：SNSのTopic を取得す…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/08/105415 https://dk521123.hatenablog.com/entry/2021/01/24/000000 の続き。 自分の中であいまいな「VPCエンドポイント」を取り上げる 目次 【１】VPCエンドポイント 【２】エンドポイントタイ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/03/07/233752 の続き。 今回は、AWS環境で行う。 目次 【０】「Get Started with AWS」について １）目的 ２）実行環境 【１】新規プロジェクトを作成する １）ログイン ２）プロジェクトの作成 【２…
■ はじめに AWS提供のメッセージキューイングサービスである Amazon Simple Queue Service (SQS) について、メモ。 目次 【１】Amazon Simple Queue Service (SQS) 【２】SQSの機能 １）キュー管理 ２）メッセージ管理 【３】キューの種類 １）Standardキュ…
■ はじめに AWS CloudWatch について、メモする。 目次 【０】Amazon CloudWatch 【１】CloudWatch 【２】メトリクス (Metrics) １）標準メトリクス ２）カスタムメトリクス 【３】CloudWatch Logs １）注意点 【４】CloudWatch Events (EventBridge) １）関…
■ はじめに https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 Glueデプロイ時にPythonスクリプトなどをS3にあげる必要があるので その方法などをメモっとく また、S3で使っているKMSに関してもついでに調べてみた。 目次 【１】S3 １）Buc…
■ はじめに 以下の関連記事で、 Boto3を使って、AWS Glue componentを作成したが https://dk521123.hatenablog.com/entry/2019/10/14/000000 https://dk521123.hatenablog.com/entry/2021/04/16/135558 https://dk521123.hatenablog.com/entry/2020/01/29/22…
■ はじめに https://dk521123.hatenablog.com/entry/2022/01/28/162154 の続き。 今回は、 AWS認定ソリューションアーキテクト アソシエイト(SAA-C02) に関して、まとめる あと、今後の自分の課題についても洗い出す。 目次 【０】試験について １）試験名 …
■ はじめに https://dk521123.hatenablog.com/entry/2019/10/21/230004 の続き。 今回は、 Boto3でS3上にあるファイル存在チェックについて 考えてみる。 目次 案１：list_objects_v2 を使う方法 案２：例外「ClientError：Error Code=404」を利用する方法 …
■ はじめに Resource Access Manager (RAM) ってのを 触ることになったのでメモ。 目次 【１】Resource Access Manager (RAM) 【２】使用用途 【３】料金 【４】共有方式 １）AWSアカウント個別で指定 ２）Organizationsレベルで有効化 【５】サポートしてい…
■ はじめに Amazon SNS に関するトラブル を粛々とまとめるとする。 目次 【１】Publishしたところ、エラー「InvalidParameter: Subject」が表示 【１】Publishしたところ、エラー「InvalidParameter: Subject」が表示 boto3 API の「publish」をコールした…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/10/205535 で、ローカル環境に、 Glue v1.0/v2.0 の動作環境を作成した。 以下の関連記事でGlue Version 3.0 が紹介したが、 https://dk521123.hatenablog.com/entry/2021/09/18/232556 どうも、A…
■ はじめに 図書館でAWSの資格の本「AWS認定アソシエイト3資格対策」(※) を借りてみた。 せっかくなんで、AWS認定資格について調べてみた。 調べて安かったら、受けるかもしれないので。 ※補足１：借りた本について AWS認定アソシエイト3資格対策~ソリューシ…
■ はじめに CloudTrail について扱う。 目次 【１】CloudTrail １）利用例 ２）業務上での実際の利用例 【２】ログの種類 １）管理イベント ２）データイベント 【３】ログの保持期間 【４】CloudWatch Logsとの連携 １）仕組み 【１】CloudTrail * AWS アカ…
■ はじめに ElastiCache について、メモ。 目次 【１】ElastiCache 【２】サポートエンジン １）Memcached ２）Redis 【１】ElastiCache * AWSのインメモリ型データベースサービス 【２】サポートエンジン 以下をサポートしている ~~~~~~~ １）Memcached ２…
