AWS

【AWS】AWS CloudFormation ~ 疑似パラメータ ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 https://dk521123.hatenablog.com/entry/2021/12/04/202519 の続き。 今回は、AWS CloudFormation (CFn) でちょくちょく使用…

【AWS】AWS CloudFormation ~ 組み込み関数 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 https://dk521123.hatenablog.com/entry/2021/12/01/170326 の続き。 AWS CloudFormation (CFn) で、大体な仕組みは理解できたのだが サンプルをみていて、組み込み関数なるものがでて…

【AWS】AWS CloudFormation ~ 基本編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/26/224812 の続き。 AWS CloudFormation (CFn) について、 もう少し掘り下げてみる。 目次 【1】開発環境 【2】CloudFormation を使った構成管理の流れ 【3】CloudFormation テンプレートの各…

【Airflow】MWAA ~ aws-mwaa-local-runner + LocalStack ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 aws-mwaa-local-runner と LocalStack との 組み合わせについて扱う。 目次 【1】構築方針 1)前提条件 【2】構築手順 1)docker-compose の作成 2)「docker-compose up…

【Airflow】MWAA ~ aws-mwaa-local-runner ~

■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…

【トラブル】【AWS】boto3 AWS Glue API のトラブル ~ Connection編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 【1】UpdateConnection を実行したら AccessDeniedExceptionが発生 …

【AWS】AWS CloudFormation ~ 入門編 ~

AWS

■ はじめに AWS CloudFormation (CFn) を触ったのでメモ。 目次 【1】CloudFormation 【2】料金 【3】動画 【4】関連用語 1)スタック (Stacks) 2)ドリフト検出(Drift Detection) 【5】サンプル 例1:S3バケット作成 例2:1 VPC 1 Subnet作成 【…

【AWS】Amazon WorkSpaces

AWS

■ はじめに Amazon WorkSpaces(アマゾン ワークスペース) ってのを 使うことになりそうなので、予習しておく。 目次 【1】Amazon WorkSpaces 【2】利点 【3】料金 【4】環境 1)OS 2)オプション 3)接続プロトコル 4)クライアントの対応OS 【5…

【AWS】Amazon SNS ~ 基本編 / Email ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/06/03/175213 の続きで、Amazon Simple Notification Service(SNS)について。 https://dk521123.hatenablog.com/entry/2021/10/06/141323 で、Airflow において、 Amazon SNS経由でEmailを受信する…

【AWS】【トラブル】MWAA に関するトラブルシュート

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA(Amazon Managed Workflow for Apache Airflow)を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 目次 【1】ログ…

【AWS】Lambda ~ Python / 入門編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 のコードを AWS Lambda (ラムダ)で実行する必要ができたのだが よくよく考えると Lambda は、Javaでしか組んだことがなく、 Python は初めてだったので、メモっておく。 後、大分、前に…

【AWS】機密データの管理 ~ Secrets Manager / boto3 編 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 の続き。 Secrets Manager に含まれている情報を、 boto3 でアクセスして、ごにょごにょする必要ができたので 調べて、メモを残しておく。 目次 【1】API仕様 1)get_secret_value() …

【Airflow】MWAA ~ S3 Sensor 編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【1…

【Airflow】MWAA ~ 入門編 ~

■ はじめに MWAA(Amazon Managed Workflow for Apache Airflow) に関して、触れるのでメモ 目次 【1】MWAA(Amazon Managed Workflow for Apache Airflow) 1)メリット 2)デメリット 3)サポートバージョン 【2】技術メモ 1)DAG の作成 2)DAG …

【AWS】AWS Glue ~ Glue Version 3.0 ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/19/130118 で、AWS Glue2.0 を扱ったが、 2021/08/19に Glue3.0がリリースされたらしいので、 調べてみた。 まずは、ざっくり知りたいなら、以下の公式サイト参照のこと。 https://aws.amazon.com…

【AWS】Amazon Redshift ~ 文字列結合 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/08/202004 の続き。 Redshiftは、PostgreSQL互換と言われているが ちょこちょこ異なっていること見つかる今日この頃。 今回は、文字列結合について扱い、 PostgreSQLとの差異についても扱う。 目…

【AWS】Amazon Redshift ~ キャスト ~

■ はじめに 小ネタ。 Amazon Redshiftを使っていて、 キャストの仕方が色々あるようなので、纏めてみた。 特に、「2)「::」 を使用したキャスト」が知らなかったので、 自戒の意味を込めて、記しておく。 目次 【0】公式サイト 【1】Amazon Redshiftでの…

【AWS】Amazon Redshift ~ VACUUM ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/04/172021 において 「3)インターリーブソートキー(Interleaved SortKey)」 の「デメリット」より ~~~~~~~~~~~ * インターリーブソートキーの性能を維持するためには 定期的に VACUUM REINDEX…

【トラブル】【AWS】Hiveテーブルデータ を Redshift に移行時のCOPYコマンドエラー

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/01/200818 において、Hiveテーブルデータ を Redshift に移行する際に COPYコマンドにおいていくつかトラブルが発生したので まとめておく。 目次 【1】COPYコマンド時にエラー「Forbidden: HTTP…

【AWS】Hiveテーブルデータ を Redshift に移行するには

■ はじめに Hiveテーブルデータ を Redshift に移行することをやったので ざっくり方針などをメモ。 目次 【1】Hiveテーブルデータ を Redshift に移行するには 1)移行手順案 2)トラブルについて 【2】サンプル 1)HiveのExternal TableでS3上に保存…

【AWS】Amazon Redshift ~ 自動採番 / IDENTITY ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2021/08/29/000000 で、PostgreSQL において 自動採番IDしてくれる「SERIAL / BIGSERIAL / SMALLSERIAL」(※)は、 Redshiftでは対応していないと記載した。 そこで、Redshift は、自動採番をどう対応する…

【トラブル】【AWS】AWS Glue Job で DB timeout が発生する

AWS

■ はじめに AWS Glueで DB にアクセスした時にタイムアウトした際の トラブルについて、まとめる 目次 【1】概要 【2】動作環境 【3】エラー内容 【4】原因 【5】解決案 【1】概要 AWS Glue Job の 開始して、DB(今回は、Redshift)にアクセスしたら …

【AWS】Amazon Redshift ~ 他DB・サービスとの違い ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2020/02/22/002139 が長くなったので分冊。 また、インデックスがサポートされていなかったという基本的なことも 分からなかった自分への戒め的にメモしておく。 目次 【1】一般的なDB との違い メモ:イ…

【トラブル】【AWS】Amazon EMR の クローン 時の トラブル

■ はじめに https://dk521123.hatenablog.com/entry/2020/08/05/144724 にEMRのトラブルを纏めていたが、 また違うトラブルが発生したので、メモしておく トラブルってゆーかー、そういう設定してるから起こったことだが。 目次 【1】EMR起動後にエラー「Eb…

【AWS】 Amazon Route 53

AWS

■ はじめに Amazon Route 53 について、メモる。 目次 【1】Amazon Route 53 【2】機能 1)ドメイン名取得 2)DNS設定 3)DNS ヘルスチェック 【1】Amazon Route 53 * Amazonの提供するDNSサービス => DNS (Domain Name System) の詳細は、以下の関連…

【AWS】AWS Glue ~ AWS CLI ~

AWS

■ はじめに EMR から Glue workflow を実行することになったので、 AWS Glue に関する AWS CLI について、メモっておく。 目次 【0】API仕様 【1】ヘルプを表示するには 【2】AWS CLI 使用例 1)Glue Workflow を実行するには 2)Glue Connection を取…

【AWS】Amazon Redshift ~ COPY コマンド ~

AWS

■ はじめに Redshift で、S3上のデータを COPYコマンドを使って ロードしているコードがあったので、メモしておく。 なお、COPYコマンドの使用例は、以下の関連記事を参照のこと。 Hiveテーブルデータ を Redshift に移行するには https://dk521123.hatenabl…

【AWS】AWS Glue ~ トリガ / EventBridgeイベント ~

AWS

■ はじめに https://dk521123.hatenablog.com/entry/2019/11/29/221207 の続き。 AWS Glue の 開始トリガで、新しいタイプ「EventBridgeイベント」が 2021/07/15頃 にリリースされたらしいので、メモしておく。 https://aws.amazon.com/jp/about-aws/whats-n…

【AWS】Amazon EMR ~ EMR内部 から SES で Email を送る ~

AWS

■ はじめに Amazon EMR から Python / AWS SES により Email を送ることを考える。 なお、SESについては、以下の関連記事を参照のこと。 Amazon SES ~ Emailサービス ~ https://dk521123.hatenablog.com/entry/2017/04/28/234103 目次 【1】SES で Email …

【トラブル】pip install wheelファイル で Read time out が発生する

■ はじめに Amazon EMR(外部接続不可) に wheelファイルを pip install しようとした時に エラー「Read time out」が発生したので、その際の出来事をメモする 目次 【1】概要 【2】原因 補足:問題の切り分けに使ったコマンド「--no-deps」 【3】解決案…