2021-10-01から1ヶ月間の記事一覧
■ はじめに https://dk521123.hatenablog.com/entry/2020/01/29/224525 で発生したトラブルについて、まとめる。 目次 【１】UpdateConnection を実行したら AccessDeniedExceptionが発生 【１】UpdateConnection を実行したら AccessDeniedExceptionが発生 …
■ はじめに Snowflake の セミナーを受けていて、 date_trunc() がでてきて、今後も使えそうだったので SQLの日付・日時に関する操作する関数を 徐々にメモっていく。 目次 【１】DATE_TRUNC関数 【１】DATE_TRUNC関数 * 指定した単位（「hour」「month」な…
■ はじめに https://dk521123.hatenablog.com/entry/2024/02/10/231900 の続き。 AWS CloudFormation (CFn) を触ったのでメモ。 目次 【１】手順 １）新規作成 ２）設定変更 【２】サンプル 例１：1 VPC 1 Subnet作成 例２：EC2インスタンス構築 (イメージ) …
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/23/025230 https://dk521123.hatenablog.com/entry/2022/01/10/155206 の続き。 上記の記事で、環境設定で「pulumi version」や Hello World で「pulumi new」などで扱っていたが、 Pulumi には、…
■ はじめに Pulumi について、メモ。 目次 【１】Pulumi ０）公式サイト １）対応言語 ２）対応プロバイダ ３）料金 【２】pulumi の構成 【３】用語整理 １）Stack (スタック) ２）State 【１】Pulumi * Pulumi (プルミ) * Infrastructure As Code（IaC= イ…
■ はじめに Infrastructure As Code（IaC）の Pulumi (プルミ) っていうのがらしく 学習用に、Windowsでインストールできないかなって調べてみたら 以下のように「Chocolatey ... choco install pulumi」ってあって なんだこれってので調べてみた。 https://…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 でリトライ（Re-run）を扱ったが、その調査の過程で、 以下のサイト https://blog.imind.jp/entry/2019/02/22/000049 などで コマンド（CLI; Command Line Interface）からでも、 タス…
■ はじめに Amazon WorkSpaces（アマゾン ワークスペース） ってのを 使うことになりそうなので、予習しておく。 目次 【１】Amazon WorkSpaces 【２】利点 【３】料金 【４】環境 １）OS ２）オプション ３）接続プロトコル ４）クライアントの対応OS 【５…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 https://dk521123.hatenablog.com/entry/2021/10/12/000000 の続き。 今回は、同実行数などの並列・マルチスレッド関連の設定について扱う 目次 【１】airflow.cfgでの制御 - Airflow全…
■ はじめに 色々と Airflow を触っていると 設定値を保持する仕組み・機構が揃っているので、 その内の Connection について扱う Apache Airflow ～ Variable ～ https://dk521123.hatenablog.com/entry/2023/12/17/000000 目次 【０】コネクションの保持 - …
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/13/092235 の続き。 どうも Slackに対して、Tokenを使ってメッセージを表示させるより Incoming Webhooks 経由で主流のようなので調べてみた。 調査してみて感じたのは、結構、古い内容が多々ある…
■ はじめに https://dk521123.hatenablog.com/entry/2021/06/03/175213 の続きで、Amazon Simple Notification Service（SNS）について。 https://dk521123.hatenablog.com/entry/2021/10/06/141323 で、Airflow において、 Amazon SNS経由でEmailを受信する…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/06/141323 で、Airflow で Slack へ通知する際に、 Access Token（アクセストークン）が必要だったのでメモる。 簡単かなーっと思ったら意外と調べたりするのに時間が掛かった、、、 目次 【１】…
■ はじめに Apache Airflow の タイムアウト について扱う。 目次 【１】DAGのタイムアウト関連のプロパティ １）dagrun_timeout ２）dag_file_processor_timeout ３）dagbag_import_timeout 使用上の注意 使用イメージ 【２】タスクのタイムアウト関連のプ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で、ローカル上に Airflowの環境を構築したが、 いつの間にか環境がぶっつぶれた。 どうせなら、Dockerでやってみようと思ったので、メモ。 目次 【１】前提条件 【２】構築環境例 【３…
■ はじめに Apache Airflow の リトライ について扱う。 目次 【１】手動でリトライ - 再実行 【２】airflow.cfgでの制御 - Airflow全体の設定 １）default_task_retries ２）max_db_retries 【３】タスクのリトライ関連のプロパティ １）retries ２）retry_…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/06/141323 の続き。 通知に関するサンプルをまとめておく。 目次 例１：SlackAPIPostOperatorを使ってSlackへ通知 １）前提条件 ２）サンプル 例２：SlackWebhookOperatorを使ってSlackへ通知 １…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA（Amazon Managed Workflow for Apache Airflow）を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 今回以外のトラ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 のコードを AWS Lambda (ラムダ)で実行する必要ができたのだが よくよく考えると Lambda は、Javaでしか組んだことがなく、 Python は初めてだったので、メモっておく。 後、大分、前に…
■ はじめに Apache Airflow で処理の失敗時やワークフロー成功時に 以下のサービスへ通知する方法を調べたので、メモっておく。 ~~~~~~~~~~ 【１】Slack 【２】Email / AWS SES 【３】AWS SNS 【４】Microsoft Teams ~~~~~~~~~~ 目次 【０】全般的な注意点 …
■ はじめに https://dk521123.hatenablog.com/entry/2020/03/12/220717 の続き。 Secrets Manager に含まれている情報を、 boto3 でアクセスして、ごにょごにょする必要ができたので 調べて、メモを残しておく。 目次 【１】API仕様 １）get_secret_value() …
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【１…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【１】Dockerによる環境設定でdocker-compose up後にエラー表示 【２】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が…
■ はじめに 文字列からbool に変換する際に 【１】の「意図した動作にならなかった例」のように 実装したが、うまくいかなかったので、メモっておく。 目次 【１】文字列 => bool に変換する際の注意点 【２】文字列 => bool に変換 １）サンプル ２）補足：…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/05/105550 で、json化するのに普段は、json.loads()を使っていたのだが astモジュールってのがあるのは知らなかった。 目次 【１】astモジュール 【２】literal_eval() １）json.loads() との違い…
