2022-05-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 などで、CloudFormation を使った際に 発生したトラブルについて、メモしておく 今回の以外のCloudFormationに関するトラブルについては 以下の関連記事を参照のこと。 CloudFormation…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【１】IAM Role １）RoleName ２）AssumeRolePolicyDocument …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS（AWS Key Management Service） を作ってみる。 なお、AWS KMS については、以下の関連記事を参照のこと。 https://dk521123.hatenablog.com/e…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…
■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【１】クロスアカウント 【２】STS (Security Token Service) １）sts:AssumeRole ２）AWS CLI…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…
■ はじめに https://dk521123.hatenablog.com/entry/2020/04/11/000000 https://dk521123.hatenablog.com/entry/2020/12/18/152949 https://dk521123.hatenablog.com/entry/2022/04/28/000000 の続き。 今回は、入門として、docker-compose (v1) / docker co…
■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【０】今回、勉強になったこと 【１】トラブル概要 【２】エラー内容 １）[Hardware]タブの「Cluster Scaling Policy」欄 ２）イベントログ…
■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【１】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole（<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…
■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【０】EMRの スケーリング方法 １）使用上の注意 ２）比較 ３）使い分け 【１】EMR-managed scaling １）使用上の注意 【２】Custom automatic scaling policy １）使…
■ はじめに トラブルシュートの切り分けの一環で、 HDFS内にファイルをインポートすることをやったのでメモ。 目次 【１】LOAD DATA 【２】CSVファイルをHDFS内にインポートする ０）前準備 １）LOAD DATA 実行 【１】LOAD DATA * CSVなどのファイルをHiveテ…
■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【１】トラブル概要 １）発生環境 ２）現象補足 【２】エラー内容 １）EMR Step内のエラー内容 ２）Tracking URL からのエラー情報 【３】原因 【４】解決案 【１】トラブル概要 EMR 内で…
■ はじめに Amazon EMR の ネットワーク周り（セキュリティグループ）について 学んだので、メモっておく。 （インフラ大変、、、） 目次 【１】セキュリティグループ（Security Group） １）Master ２）Slave ３）ServiceAccess ４）その他 【１】セキュリ…
■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 https://dk521123.hatenablog.com/entry/2020/06/02/183823 の続き。 データベースを作るなど、メモしておく。 目次 【１】データベース作成 【２】データベース削除 【３】データベー…
■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド（テキストベースのブラウザ表示） ってを学べたこと。 後日談： 設定については、以下の関連記事を参照のこと Amazon EMR ～ …
■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…
■ はじめに https://dk521123.hatenablog.com/entry/2015/02/02/215603 の続き。 今回は、 ICMP （Internet Control Message Protocol）について扱う 目次 【１】ICMP １）ICMPを説明する前に ２）目的 ３）概要 【２】ICMPヘッダ １）タイプ ２）コード ３…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 https://dk521123.hatenablog.com/entry/2022/05/01/000000 の続き。 今回は、MapReduce についてメモ。 目次 【１】MapReduce 【２】MapReduce の構成 １）Map(出力) ２）Shuffle(並べ…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 HDFS があいまいだったので、こつこつまとめていく。 また、 https://dk521123.hatenablog.com/entry/2020/11/13/145545 でやった EMRFS の基礎になるので、勉強しておく。 目…
