Airflow
■ はじめに ローカル環境に、Dockerで Flink -> Kafka/Kafka Connect -> PostgreSQL の環境一式作るのを、コツコツやってきたのだが やっとできた、、、 あと、ついでに、開発用なんで KafkaとPostgreSQLのWeb UIも導入している 目次 【０】Github 【１】サ…
■ はじめに Airflow から EMR を立ち上げる方法についてメモる。 目次 【０】EMR種類 【１】EMR Serverless 【２】EMR 【０】EMR種類 * EMR には、以下の種類があり、使用するOperatorも変わる １）EMR Serverless ２）EMR (on EC2) など # 他にも「Amazon E…
■ はじめに 久しぶりに、AirflowのDAGを作成することになったのだが 大分時間が経ってしまったので、ほとんど覚えておらず。。。 なので、今回は、そんなダメな自分への備忘録として DAGを作成することに特化したものを作る。 完全なリハビリ（復習）みたい…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/10/11/134840 の続き。 今回は、久しぶりに、Apache Airflow で、 Kubernetes で環境構築していく。 目次 【０】今回学べること 【１】前…
■ はじめに https://dk521123.hatenablog.com/entry/2022/01/13/101634 の「実行タイミングに関わる引数」で、 「start_date」「end_date」「schedule_interval」「catchup」「timetable」 について扱ったが、掘り下げてみる。 目次 【０】Airflowの実行タイ…
■ はじめに Apache Airflow の DAG の コンストラクタ引数やデフォルト引数について 調査する必要ができたので、メモ。 目次 【０】DAGの引数 【１】基本的な引数 １）dag_id ２）description ３）default_args ４）tags 【２】実行タイミングに関わる引数 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 の続き。 aws-mwaa-local-runner と LocalStack との 組み合わせについて扱う。 目次 【１】構築方針 １）前提条件 【２】構築手順 １）docker-compose の作成 ２）「docker-compose up…
■ はじめに MWAA での単体試験 (Unit tests) について調査していたら、 以下のAWS公式ブログがヒットした。 https://aws.amazon.com/jp/blogs/opensource/automating-a-dag-deployment-with-amazon-managed-workflows-for-apache-airflow/ 上記によると、aws…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 でリトライ（Re-run）を扱ったが、その調査の過程で、 以下のサイト https://blog.imind.jp/entry/2019/02/22/000049 などで コマンド（CLI; Command Line Interface）からでも、 タス…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/10/000000 https://dk521123.hatenablog.com/entry/2021/10/12/000000 の続き。 今回は、同実行数などの並列・マルチスレッド関連の設定について扱う 目次 【１】airflow.cfgでの制御 - Airflow全…
■ はじめに 色々と Airflow を触っていると 設定値を保持する仕組み・機構が揃っているので、 メモしておく 目次 【１】設定値の保持 - Variable １）Web UIからデータの追加方法 ２）それ以外の追加方法 ３）サンプル 【２】コネクションの保持 - Connectio…
■ はじめに Apache Airflow の タイムアウト について扱う。 目次 【１】DAGのタイムアウト関連のプロパティ １）dagrun_timeout ２）dag_file_processor_timeout ３）dagbag_import_timeout 使用上の注意 使用イメージ 【２】タスクのタイムアウト関連のプ…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で、ローカル上に Airflowの環境を構築したが、 いつの間にか環境がぶっつぶれた。 どうせなら、Dockerでやってみようと思ったので、メモ。 目次 【１】前提条件 【２】構築環境例 【３…
■ はじめに Apache Airflow の リトライ について扱う。 目次 【１】手動でリトライ - 再実行 【２】airflow.cfgでの制御 - Airflow全体の設定 １）default_task_retries ２）max_db_retries 【３】タスクのリトライ関連のプロパティ １）retries ２）retry_…
■ はじめに https://dk521123.hatenablog.com/entry/2021/10/06/141323 の続き。 通知に関するサンプルをまとめておく。 目次 例１：SlackAPIPostOperatorを使ってSlackへ通知 １）前提条件 ２）サンプル 例２：SlackWebhookOperatorを使ってSlackへ通知 １…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、MWAA（Amazon Managed Workflow for Apache Airflow）を 使っていて、出くわした問題について、徐々にでは、 その解決方法などのトラブルシュートをメモっておく。 目次 【１】ログ…
■ はじめに Apache Airflow で処理の失敗時やワークフロー成功時に 以下のサービスへ通知する方法を調べたので、メモっておく。 ~~~~~~~~~~ 【１】Slack 【２】Email / AWS SES 【３】AWS SNS 【４】Microsoft Teams ~~~~~~~~~~ 目次 【０】全般的な注意点 …
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 の続き。 今回は、以下のサイトで 使用されている S3 Sensor について調べてみた https://amazon-mwaa-for-analytics.workshop.aws/en/workshop-2.0.2/m1-processing/s3.html 目次 【１…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 で発生したトラブルを纏めておく。 目次 【１】Dockerによる環境設定でdocker-compose up後にエラー表示 【２】エラー「ModuleNotFoundError: No module named 'airflow.providers'」が…
■ はじめに https://dk521123.hatenablog.com/entry/2021/09/29/131101 で、AWS 上で、 Apache Airflow（NWAA：Amazon Managed Workflow for Apach Airflow）を 動かした際に、ちらほら抜けている部分が多かったので 基本的なTip集をメモしておく。 目次 【…
■ はじめに MWAA（Amazon Managed Workflow for Apache Airflow） に関して、触れるのでメモ 目次 【１】MWAA（Amazon Managed Workflow for Apache Airflow） １）メリット ２）デメリット ３）サポートバージョン 【２】技術メモ １）DAG の作成 ２）DAG …
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 https://dk521123.hatenablog.com/entry/2021/07/28/234319 で、Airflowを予習していたのだが、すっかり忘れてしまった。 と…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 https://dk521123.hatenablog.com/entry/2021/07/24/233012 の続き。 Apache Airflow の基本的な構成などをメモしておく。 目次 【１】Airflow の基本構成 １）Web Server ２）Schedule…
■ はじめに https://dk521123.hatenablog.com/entry/2021/07/18/004531 の続き。 今回は、Apache Airflow に関する Hello world的なことを行ってみる。 目次 【１】参考になるサイト 【２】サンプル 【３】実行コマンド １）コードの確認 ２）DAGの確認 ３）…
■ はじめに Amazon Managed Workflows for Apache Airflow (MWAA) っていう AWSサービスがあるのだが、その元となっている Apache Airflow を 気軽に触ってみたいので、ローカル上に環境を構築してみる 目次 【１】Apache Airflow 【２】環境構築する上での…
