AWS
■ はじめに 小ネタ。 調査で、AWS Redshift について触ることが多くて 既存のテーブルのDDL（CREATE TABLE文）が欲しいとの依頼があったので 調べてみた 目次 【１】SHOW TABLE コマンド 【２】構文 【３】実行例 【４】SHOW TABLE コマンドで CREAT TABLE文…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/02/230435 の続き。 今回は、Redshift に関するシステムビューについて、まとめる。 目次 【０】システムビュー 【１】STL ビュー １）STL_SCAN ２）STL_QUERY 【２】SVCS ビュー 【３】SVL ビュ…
■ はじめに Amazon EKS (Elastic Kubernetes Service) に関するメモ。 目次 【１】Amazon EKS 【２】公式ドキュメント 【３】AWS CLI 【１】Amazon EKS * EKS : Elastic Kubernetes Service * Kubernetes クラスタを管理するための AWSサービスのマネージド…
■ はじめに AWS アクセスキーのローテーションについて触れたので そもそものアクセスキーから勉強する。 目次 【１】アクセスキー １）アクセスキー ID ２）シークレットアクセスキー 【２】メリット・デメリット １）メリット ２）デメリット 【３】アクセ…
■ はじめに AWS S3 上にあるファイルをダウンロードして 一部を取得するようなシェルを書く 目次 【１】今回の実装方針 【２】必要なライブラリ 【３】サンプル 【４】Tips １）ディレクトリ配下のファイル名一覧を取得 【１】今回の実装方針 [1] 初期処理（…
■ はじめに Amazon MSK の 環境構築で、エラーの原因が、 AWS IAM の、Service-Linked Roles（サービスリンクロール）を 作っていなかったのだが、そもそも Service-Linked Roles の 存在を知らなかったので調べてみる (全然まだ理解していないので、徐々に…
■ はじめに 業務で、AWSのSFTPサーバに関するサービスで AWS Transfer Family があるって聞いたので、メモ 目次 【１】AWS Transfer Family 【２】アーキテクト 【３】料金 【１】AWS Transfer Family * フルマネージドな ファイル送受信転送サービス => フ…
■ はじめに https://dk521123.hatenablog.com/entry/2022/01/22/000000 の続き。 AWS Config について、徐々にメモる。 目次 【１】AWS Config 補足：類似サービス「CloudTrail」 【２】利用例 【１】AWS Config * AWSリソースへの変更を記録するサービス 補…
■ はじめに Amazon Cognito (コグニート) についてメモ。 【１】Amazon Cognito ウェブ/モバイルアプリに簡単に ユーザーの認証、アクセスコントロールの機能を 追加できるAWSサービス cf. incognito = 匿名の 【２】コンポーネント １）ユーザープール * ア…
■ はじめに AWS Control Tower について扱う 目次 【０】AWS Control Tower １）関連用語 【１】AWS Organizations １）実現できること 【２】AWS Service Catalog 【３】AWS IAM Identity Center 【４】AWS Config 【０】AWS Control Tower * マルチアカウ…
■ はじめに AWS Glue をつかって、でかいデータを扱ってているのだが 想定していたより、でかいデータだったので、 Glue Jobの パフォーマンスをチューニングする際の知識を 調べたので、メモする。 目次 【１】パフォーマンスに関わるジョブプロパティ １）…
■ はじめに 久しぶりに、AWS Glue ネタ。 でかいデータを処理しなければならず、 同じ Glue Job を条件を変えて 並列で動かそうとしようとしたらエラーになったので その原因と解決案についてメモ。 目次 【１】トラブル概要 【２】エラーメッセージ 【３】…
■ はじめに 久しぶりにAWS Glue に関するトラブルシューティング。 本件以外のAWS Glue に関するトラブルは関連記事を参照のこと。 【１】エラー概要 AWS Glue Jobを起動した際に、以下「エラー内容」が表示された。 指定されているパス （今回の場合「s3://…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。 Glue がバージョンアップを繰り返して、 ジョブパラメータについても色々なものがでてきたので ここらで、まとめてみる。 （全部は多すぎるので、Pythonと使用しそうなものに…
■ はじめに https://dk521123.hatenablog.com/entry/2019/11/17/231505 の続き。久しぶりに、AWS Glueネタ。 今日、みたら、Python shell が、 Python 3.9 が使えるようになっていたので、メモ。 => AWS公式でもアナウンスされている。 https://aws.amazon.c…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 IAM について、もう少し掘り下げる。 目次 【１】IAM １）認証 (Authentication) ２）認可 (Authorization) 【２】IAMユーザ・グループ １）認証種類 ２）MFA設定手順 【３】I…
■ はじめに AWS CloudFormation で、Booleanの入力パラメータで Roleを付与するかしないかを扱った。 その中で、Conditions セクションや条件関数（!IF、!Equals）を やったのでメモっておく。 目次 【１】条件関数 １）Fn::Equals（!Equals） ２）Fn::If（!…
■ はじめに クロスアカウントでのS3アクセスに関して 複数の原因があってハマりにハマったので、メモしておく。 目次 【０】教訓：S3バケットのアクセストラブルの勘所 【１】エラー「An error occured (403) when calling the HeadObject operation: Forbid…
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 https://dk521123.hatenablog.com/entry/2021/10/05/105550 の続き。 AWS Secrets Manager でのシークレットの作成を AWS CLIで行う必要ができたので、メモ。 ついでに過去の記事も整理…
■ はじめに AWS Service Catalog について 業務で触れたのでメモ。 目次 【１】AWS Service Catalog １）利点 【２】用語整理 １）Product (製品) ２）Portfolio（ポートフォリオ） ３）制約 ４）Provisioned product (プロビジョニングされた製品) 【３】設…
■ はじめに 今回は、AWS Service Catalog の AWS CLI について扱う 目次 【０】Service Catalog の AWS CLI １）使用上の注意 【１】aws servicecatalog provision-product 【２】aws servicecatalog describe-record 【０】Service Catalog の AWS CLI * 以…
■ はじめに AWS CLI実行で少しハマったのでメモ。 【１】トラブル概要 AWS CLI「aws iam create-saml-provider」コマンドを実行した際に 以下「エラー内容」が表示された エラーになったコマンド例 $ aws iam create-saml-provider --saml-metadata-document…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 今回の以外のCloudFormationに関するトラブルについては 以下の関連記事を参照のこと。 CloudFormation…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【１】IAM Role １）RoleName ２）AssumeRolePolicyDocument …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS（AWS Key Management Service） を作ってみる。 なお、AWS KMS については、以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/e…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【１】クロスアカウント 【２】STS (Security Token Service) １）sts:AssumeRole ２）AWS CLI…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…
■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【０】今回、勉強になったこと 【１】トラブル概要 【２】エラー内容 １）[Hardware]タブの「Cluster Scaling Policy」欄 ２）イベントログ…
■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【１】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole（<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…
