Airflow
■ はじめに https://dk521123.hatenablog.com/entry/2024/10/05/234219 の続き。 前回の記事の内容が、ほとんど「Backfill」だったので 今回は、「Catchup」を集中で取り上げる 目次 【１】Catchup 【２】設定方法 １）DAG ２）airflow.cfg 【３】Hello Worl…
■ はじめに 久しぶりに、Airflow について扱っており、 リカバリのために「Backfill」ってものを学んだので メモしておく 目次 【１】予備知識：DAG １）start_date ２）end_date ３）schedule_interval 【２】Backfill １）backfill コマンド ２）Hello Wor…
■ はじめに https://dk521123.hatenablog.com/entry/2024/06/13/222403 で、Apache Airflow（MWAA）の単体試験を扱った。 今回は、それをLocalで動かせる環境を構築する 目次 【０】前提条件 【１】構築手順 ０）ディレクトリ構成 １）docker-compose を作成…
■ はじめに Airflow の単体試験をすることになりそうなので予習。 目次 【１】Airflow の単体試験 １）Airflow's Best Practices ２）テスティングフレームワークの選定 【２】Airflowのテストモード １）設定方法１：環境変数 UNIT_TEST_MODE に指定 ２）設…
■ はじめに MWAA で 軽微なトラブルだったが 学びが色々とあったので、メモっておく 今日の教訓 Python 製 で JSON は、 シングルクォーテーション（'）ではなく ダブルクォーテーション（"）で囲んだ方が トラブル少なく済みそう 【１】現象 MWAA で Secret…
■ はじめに https://dk521123.hatenablog.com/entry/2023/12/17/000000 で、Apache Airflow の Variable について扱った。 今回は、AWS MWAAでの Variable について扱う。 目次 【１】公式ドキュメントのサンプル １）前提条件 ２）サンプル 【２】AWS CLI …
■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) を Terraform で作る。 なお、MWAA および Airflow については、以下の関連記事を参照のこと。 MWAA ～ 入門編 ～ https://dk521123.hatenablog.com/entry/2021/09/29/131101 Apache Airflow…
■ はじめに Apache Airflow の 設定値を保持する仕組み・機構が揃っているので、 その内の Variable について扱う 目次 【０】設定値の保持 - Variable 【１】Web UIからデータ追加 【２】CLIからデータ追加 【３】REST APIからデータ追加 【４】DAG からデ…
■ はじめに Airflow で、Task 間で値を受け渡す際に必要な XComs について 多く触れることになりそうなので、メモっておく 目次 【１】XComs 【２】関連するAPI １）xcom_push ２）xcom_pull 【３】サンプル 例１：Airflow v1 例２：Airflow v2 【１】XComs …
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/04/230703 で、S3 Sensorを取り扱ったが Apache Airflow の Sensor (センサ) 自体を扱うことになったので メモる。 目次 【１】Sensor 【２】主なSensor １）ExternalTaskSensor ２）FileSensor …
■ はじめに MWAA Local で AWSに繋げるようにする必要ができたのでメモ。 あと、個人的なことで作業が簡単になるように MWAA Local をちょこっと改造する 目次 【１】MWAA Local で AWSに繋げるようにするには Case１：docker/config/.env.localrunner に追…
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…
■ はじめに Airflow から EMR を立ち上げる方法についてメモる。 目次 【０】EMR種類 【１】EMR Serverless 【２】EMR 【０】EMR種類 * EMR には、以下の種類があり、使用するOperatorも変わる １）EMR Serverless ２）EMR (on EC2) など # 他にも「Amazon E…
■ はじめに 久しぶりに、AirflowのDAGを作成することになったのだが 大分時間が経ってしまったので、ほとんど覚えておらず。。。 なので、今回は、そんなダメな自分への備忘録として DAGを作成することに特化したものを作る。 完全なリハビリ（復習）みたい…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/10/11/134840 の続き。 今回は、久しぶりに、Apache Airflow で、 Kubernetes で環境構築していく。 目次 【０】今回学べること 【１】前…
■ はじめに https://dk521123.hatenablog.com/entry/2022/01/13/101634 の「実行タイミングに関わる引数」で、 「start_date」「end_date」「schedule_interval」「catchup」「timetable」 について扱ったが、掘り下げてみる。 目次 【０】Airflowの実行タイ…
■ はじめに Apache Airflow の DAG の コンストラクタ引数やデフォルト引数について 調査する必要ができたので、メモ。 目次 【０】DAGの引数 【１】基本的な引数 １）dag_id ２）description ３）default_args ４）tags 【２】実行タイミングに関わる引数 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 MWAA Localの 環境構築としてDocker composeを使い aws-mwaa-local-runner と LocalStack と組み合わせにする。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker…
■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 でリトライ（Re-run）を扱ったが、その調査の過程で、 以下のサイト https://blog.imind.jp/entry/2019/02/22/000049 などで コマンド（CLI; Command Line Interface）からでも、 タス…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 https://dk521123.hatenablog.com/entry/2021/10/12/000000 の続き。 今回は、同実行数などの並列・マルチスレッド関連の設定について扱う 目次 【１】airflow.cfgでの制御 - Airflow全…
■ はじめに 色々と Airflow を触っていると 設定値を保持する仕組み・機構が揃っているので、 その内の Connection について扱う Apache Airflow ～ Variable ～ https://dk521123.hatenablog.com/entry/2023/12/17/000000 目次 【０】コネクションの保持 - …
■ はじめに Apache Airflow の タイムアウト について扱う。 目次 【１】DAGのタイムアウト関連のプロパティ １）dagrun_timeout ２）dag_file_processor_timeout ３）dagbag_import_timeout ４）使用イメージ 【２】タスクのタイムアウト関連のプロパティ …
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で、ローカル上に Airflowの環境を構築したが、 いつの間にか環境がぶっつぶれた。 どうせなら、Dockerでやってみようと思ったので、メモ。 目次 【１】前提条件 【２】構築環境例 【３…
■ はじめに Apache Airflow の リトライ について扱う。 目次 【１】手動でリトライ - 再実行 【２】airflow.cfgでの制御 - Airflow全体の設定 １）default_task_retries ２）max_db_retries 【３】タスクのリトライ関連のプロパティ １）retries ２）retry_…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/06/141323 の続き。 通知に関するサンプルをまとめておく。 目次 例１：SlackAPIPostOperatorを使ってSlackへ通知 １）前提条件 ２）サンプル 例２：SlackWebhookOperatorを使ってSlackへ通知 １…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA（Amazon Managed Workflow for Apache Airflow）を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 今回以外のトラ…
■ はじめに Apache Airflow で処理の失敗時やワークフロー成功時に 以下のサービスへ通知する方法を調べたので、メモっておく。 ~~~~~~~~~~ 【１】Slack 【２】Email / AWS SES 【３】AWS SNS 【４】Microsoft Teams ~~~~~~~~~~ 目次 【０】全般的な注意点 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【１…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【１】Dockerによる環境設定でdocker-compose up後にエラー表示 【２】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が…
