【AWS】CloudFormation ~ IAM ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 https://dk521123.hatenablog.com/entry/2022/05/26/112627 の続き。 今回は、CloudFormation で IAM を作ってみる。 目次 【1】IAM Role 1)RoleName 2)AssumeRolePolicyDocument …

【AWS】CloudFormation ~ KMS ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/05/25/220037 の続き。 今回は、CloudFormation で KMS(AWS Key Management Service) を作ってみる。 目次 【1】KMS Key 1)EnableKeyRotation 2)KeyPolicy 【2】KMS Alias 1)AliasName 2…

【AWS】CloudFormation ~ S3 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 仕事で、CloudFormation を触ることになった。 今回は、S3バケットについて、ちょくちょくまとめていく。 目次 【…

【AWS】IAM ~ クロスアカウント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2017/02/26/231046 の続き。 今回は、クロスアカウント周辺の知識 について ちょこちょこ、まとめる。 目次 【1】クロスアカウント 【2】sts:AssumeRole 【3】外部ID(External ID) 1)イメージ 【4…

【AWS】CloudFormation ~ 開発環境 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 CloudFormation のテンプレート作成は テキストエディタ さえ開発できるが、 サポートしてくれるツールもあるらし…

【Docker】Docker ~ docker-compose の サンプル ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/11/000000 https://dk521123.hatenablog.com/entry/2020/12/18/152949 https://dk521123.hatenablog.com/entry/2022/04/28/000000 の続き。 今回は、docker-compose の ハンズオンをしてみる。 目…

【トラブル】【AWS】EMRで Auto Scaling が FAILED する

■ はじめに 連日、EMRのトラブル対応。 今回は、 Auto Scaling が FAILED する問題について、 メモしておく。 目次 【0】今回、勉強になったこと 【1】トラブル概要 【2】エラー内容 1)[Hardware]タブの「Cluster Scaling Policy」欄 2)イベントログ…

【トラブル】【AWS】エラー「no identity-based policy allows the iam:PassRole action」が発生

■ はじめに トラブルの調査中に、別のトラブルになったのでメモ。 発生しているのは、Glueだが、原因はIAMロールの作り方なので 他のサービスでも発生しそう。 【1】トラブル概要 AWS Glue Jobで、EMRを立ち上げる際に AutoScalingのRole(<EMRAutoScalingRole>)を新規で追加し</emrautoscalingrole>…

【AWS】Amazon EMR ~ Auto scaling ~

AWS

■ はじめに Amazon EMR の 自動スケーリングについて、不勉強なので 調べてまとめた 目次 【0】EMRの スケーリング方法 1)使用上の注意 2)比較 3)使い分け 【1】EMR-managed scaling 1)使用上の注意 【2】Custom automatic scaling policy 1)使…

【Hive】Hive / HiveQL ~ LOAD DATA ~

■ はじめに トラブルシュートの切り分けの一環で、 HDFS内にファイルをインポートすることをやったのでメモ。 目次 【1】LOAD DATA 【2】CSVファイルをHDFS内にインポートする 0)前準備 1)LOAD DATA 実行 【1】LOAD DATA * CSVなどのファイルをHiveテ…

【トラブル】【AWS】EMRでINSERTを実行した際に Fail する

■ はじめに めちゃくちゃハマったトラブルについて、まとめる。 目次 【1】トラブル概要 1)発生環境 2)現象補足 【2】エラー内容 1)EMR Step内のエラー内容 2)Tracking URL からのエラー情報 【3】原因 【4】解決案 【1】トラブル概要 EMR 内で…

【AWS】Amazon EMR ~ ネットワーク周り ~

AWS

■ はじめに Amazon EMR の ネットワーク周り(セキュリティグループ)について 学んだので、メモっておく。 (インフラ大変、、、) 目次 【1】セキュリティグループ(Security Group) 1)Master 2)Slave 3)ServiceAccess 4)その他 【1】セキュリ…

【Hive】Hive / HiveQL ~ データベース関連 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/25/231235 https://dk521123.hatenablog.com/entry/2020/06/02/183823 の続き。 データベースを作るなど、メモしておく。 目次 【1】データベース作成 【2】データベース削除 【3】データベー…

【AWS】起動中の EMR に Session Manager を使って入る

AWS

■ はじめに 起動中の EMR に Session Manager を使って入る方法や デバッグについて、メモしておく。 今回の収穫は、lynxコマンド(テキストベースのブラウザ表示) ってを学べたこと。 目次 【1】起動EMR 内に Session Manager を使って入る 【2】Hive コ…

【トラブル】【AWS】EMRのStep実行時にエラー「Insufficient Lake Formation permission(s) on default」が表示

■ はじめに 以下の以前の記事で https://dk521123.hatenablog.com/entry/2020/10/12/152659 『エラー「message:Insufficient Lake Formation permission(s) on global_temp」が表示』 っていうのを書いたが、今回は、エラー表示は近いが、 全く別物のトラブ…

【プロトコル】ICMP(Internet Control Message Protocol)

■ はじめに https://dk521123.hatenablog.com/entry/2015/02/02/215603 の続き。 今回は、 ICMP (Internet Control Message Protocol)について扱う 【1】ICMP ICMPを説明する前に... * IPは、コネクションレス型で、伝送路上に障害が起こったり、 サーバ…

【Hadoop】Hadoop ~ 基本編 / MapReduce ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 https://dk521123.hatenablog.com/entry/2022/05/01/000000 の続き。 今回は、MapReduce についてメモ。 目次 【1】MapReduce 【2】MapReduce の構成 1)Map(出力) 2)Shuffle(並べ…

【Hadoop】Hadoop ~ 基本編 / HDFS ~

■ はじめに https://dk521123.hatenablog.com/entry/2019/09/15/100727 の続き。 HDFS があいまいだったので、こつこつまとめていく。 また、 https://dk521123.hatenablog.com/entry/2020/11/13/145545 でやった EMRFS の基礎になるので、勉強しておく。 目…

【Docker】Docker ~ 基本編 / docker network ~

■ はじめに 図書館で借りたDockerの本を借りて勉強。 今回は、docker networkを学んだので、まとめる。 補足1:元ネタとなった図書館で借りた本 仕組みと使い方がわかる Docker&Kubernetesのきほんのきほん (Compass Booksシリーズ)作者:小笠原 種高マイナ…

【Docker】Docker ~ 入門編 / WordPress ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/01/14/102719 https://dk521123.hatenablog.com/entry/2022/02/22/000000 の続き。 今回は、もう少し難易度があがり、複数の コンテナでやりとりする例として WordPress を立ち上げるハンズオンをや…

【Docker】Docker ~ 基本編 / docker-compose の環境整備 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/11/000000 https://dk521123.hatenablog.com/entry/2020/12/18/152949 の続き。 docker-compose は、Docker Engineとは別ソフトウェアなので インストールする必要があるので、メモ。 更新方法も…

【Docker】Docker ~ ファイルをコンテナにコピー ~

■ はじめに ホスト側のファイルをコンテナにコピーするために docker container cp について扱う 目次 【1】コンテナへファイルをコピー 1)構文 【2】サンプル 1)Apacheコンテナを起動する 2)ホスト側ファイルをコンテナにコピーする 3)後片付け …

【AWS】Amazon VPC ~ Reachability Analyzer ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/28/162514 https://dk521123.hatenablog.com/entry/2021/08/30/104237 のように、AWS環境下で、ConnectionTimeout Error などが起こった際に 通信の到達・未到達(未到達でもどこで繋がらないのか…

【AWS】AWS Glue ~ EventBridgeでGlue Workflowを起動する ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/16/161359 の続き。 今回は、実際に、EventBridgeを使って、 Glue Workflowを起動してみる 目次 【0】今回、やりたいこと 1)構成例 【1】EventBridge用のRoleを作成 1)IAM ロール 【2】Glu…

【AIスピーカー】Google nest ~ ライト操作 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/01/000000 https://dk521123.hatenablog.com/entry/2021/11/12/132409 の続き。 AIスピーカー(Google nest / Home)による 照明の操作について扱う 目次 【1】関連用語 1)シーリングライト 【…

【Snowflake】Snowflake ~ エラー時の解析方法 ~

■ はじめに 小ネタ。 AWS GlueからSnowflakeにクエリを実行した際に エラーになった時の解析について、学んだのでメモしておく 目次 【1】プログラムなどから実行した際の解析方法 【2】Tips 【3】使用上の注意点 【1】プログラムなどから実行した際の解…

【AWS】Amazon WorkSpaces ~ クライアントアプリ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/20/195400 https://dk521123.hatenablog.com/entry/2022/01/07/183607 の続き。 今回は、後述『【3】トラブル』により、 Amazon WorkSpaces の Client Appli(デスクトップアプリ)を インストー…

【AWS】Amazon EMR ~ Log4j / CVE-2021-44228 対策 ~

AWS

■ はじめに 今更だが、Log4j 脆弱性問題「CVE-2021-44228」について EMRでの対応について触れたので、メモしておく。 目次 【1】Log4j 脆弱性問題「CVE-2021-44228」 1)リスクについて 【2】EMRでの対策手順 1)パッチをダウンロードし、配置する 2)B…

【Pulumi】Pulumi ~ AWS SES のデプロイ ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/03/03/095415 https://dk521123.hatenablog.com/entry/2022/03/02/122037 の続き。 今回、AWS SESに関する記事。 目次 【0】AWS SES に関する pulumi API 【1】Verified identities for Email 【0…

【トラブル】【AWS】EMR起動時にエラー「An EC2 ClientInternalError has occurred」が表示

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 の続き。 今回は、EMR起動しようとした際に エラー「An EC2 ClientInternalError has occurred」が表示されたので その際の詳細をメモしておく。 目次 【0】一口メモ 【1】概要 【2…