Airflow

【Airflow】MWAA ~ aws-mwaa-local-runner + LocalStack ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 aws-mwaa-local-runner と LocalStack との 組み合わせについて扱う。 目次 【1】構築方針 1)前提条件 【2】構築手順 1)docker-compose の作成 2)「docker-compose up…

【Airflow】MWAA ~ aws-mwaa-local-runner ~

■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…

【Airflow】Apache Airflow ~ CLI ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 でリトライ(Re-run)を扱ったが、その調査の過程で、 以下のサイト https://blog.imind.jp/entry/2019/02/22/000049 などで コマンド(CLI; Command Line Interface)からでも、 タス…

【Airflow】Apache Airflow ~ 同時実行 / 並列関連 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 https://dk521123.hatenablog.com/entry/2021/10/12/000000 の続き。 今回は、同実行数などの並列・マルチスレッド関連の設定について扱う 目次 【1】airflow.cfgでの制御 - Airflow全…

【Airflow】Apache Airflow ~ Variable / Connection ~

■ はじめに 色々と Airflow を触っていると 設定値を保持する仕組み・機構が揃っているので、 メモしておく 目次 【1】設定値の保持 - Variable 1)Web UIからデータの追加方法 a) 値を追加 b) ファイルからのインポート 2)サンプル 例1:値の取得 【2…

【Airflow】Apache Airflow ~ タイムアウト ~

■ はじめに Apache Airflow の タイムアウト について扱う。 目次 【1】DAGのタイムアウト関連のプロパティ 1)dagrun_timeout 2)dag_file_processor_timeout 3)dagbag_import_timeout 使用上の注意 使用イメージ 【2】タスクのタイムアウト関連のプ…

【Airflow】Apache Airflow ~ 環境構築 / Docker 編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で、ローカル上に Airflowの環境を構築したが、 いつの間にか環境がぶっつぶれた。 どうせなら、Dockerでやってみようと思ったので、メモ。 目次 【1】前提条件 【2】構築環境例 【3…

【Airflow】Apache Airflow ~ リトライ ~

■ はじめに Apache Airflow の リトライ について扱う。 目次 【1】手動でリトライ - 再実行 【2】airflow.cfgでの制御 - Airflow全体の設定 1)default_task_retries 2)max_db_retries 【3】タスクのリトライ関連のプロパティ 1)retries 2)retry_…

【Airflow】Apache Airflow ~ 通知サンプル編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/10/06/141323 の続き。 通知に関するサンプルをまとめておく。 目次 例1:SlackAPIPostOperatorを使ってSlackへ通知 1)前提条件 2)サンプル 例2:SlackWebhookOperatorを使ってSlackへ通知 1…

【AWS】【トラブル】MWAA に関するトラブルシュート

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA(Amazon Managed Workflow for Apache Airflow)を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 目次 【1】ログ…

【Airflow】Apache Airflow ~ 通知あれこれ編 ~

■ はじめに Apache Airflow で処理の失敗時やワークフロー成功時に 以下のサービスへ通知する方法を調べたので、メモっておく。 ~~~~~~~~~~ 【1】Slack 【2】Email / AWS SES 【3】AWS SNS 【4】Microsoft Teams ~~~~~~~~~~ 目次 【0】全般的な注意点 …

【Airflow】MWAA ~ S3 Sensor 編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【1…

【Airflow】【トラブル】Apache Airflow に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【1】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が表示 【2】エラー「DAG import Error / SyntaxError: (unicode …

【Airflow】Apache Airflow ~ あれこれ編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、AWS 上で、 Apache Airflow(NWAA:Amazon Managed Workflow for Apach Airflow)を 動かした際に、ちらほら抜けている部分が多かったので 基本的なTip集をメモしておく。 目次 【…

【Airflow】MWAA ~ 入門編 ~

■ はじめに MWAA(Amazon Managed Workflow for Apache Airflow) に関して、触れるのでメモ 目次 【1】MWAA(Amazon Managed Workflow for Apache Airflow) 1)メリット 2)デメリット 3)サポートバージョン 【2】技術メモ 1)DAG の作成 2)DAG …

【Airflow】Apache Airflow ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 https://dk521123.hatenablog.com/entry/2021/07/28/234319 で、Airflowを予習していたのだが、すっかり忘れてしまった。 と…

【Airflow】Apache Airflow ~ 基本編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 の続き。 Apache Airflow の基本的な構成などをメモしておく。 目次 【1】Airflow の基本構成 1)Web Server 2)Schedule…

【Airflow】Apache Airflow ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 の続き。 今回は、Apache Airflow に関する Hello world的なことを行ってみる。 目次 【1】参考になるサイト 【2】サンプル 【3】実行コマンド 1)コードの確認 2)DAGの確認 3)…

【Airflow】Apache Airflow ~ 環境構築編 ~

■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) っていう AWSサービスがあるのだが、その元となっている Apache Airflow を 気軽に触ってみたいので、ローカル上に環境を構築してみる 目次 【1】Apache Airflow 【2】環境構築する上での…