■ はじめに

https://dk521123.hatenablog.com/entry/2021/07/18/004531

で、ローカル上に Airflowの環境を構築したが、
いつの間にか環境がぶっつぶれた。
どうせなら、Dockerでやってみようと思ったので、メモ。

【１】前提条件

* Docker がインストールされていること
* 以下の関連記事を参照のこと。

Docker Desktop / WSL2 ～ Windows / 環境構築編～
https://dk521123.hatenablog.com/entry/2020/12/08/165505
Docker ～ Linux / 環境構築編～
https://dk521123.hatenablog.com/entry/2018/04/10/234030

【２】構築環境例

* OS ： Windows10 / Ubuntu 20.04.2 LTS
* Python ： Python 3.9.7
* Airflow : v2.1.4

【３】構築手順

* 公式サイトに記載されている

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

１）docker-compose.yml のダウンロード

mkdir airflow-docker
cd airflow-docker/

curl -LfO https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml

２）インストール前の下準備

# 必要なディレクトリやファイルを作成
mkdir ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env

３）airflow-initを実行

* 以下を実行

コマンド

# docker-compose up airflow-init
docker compose up airflow-init

注意点１

もし、コマンド後に以下のようなエラーになった場合、
docker-compose のバージョンが古い可能性があり。
~~~~
ERROR: The Compose file './docker-compose.yaml' is invalid because:
Unsupported config option for services.airflow-cli: 'profiles'
Invalid top-level property "x-airflow-common". Valid top-level sections
 for this Compose file are: version, services, networks, volumes,
 and extensions starting with "x-".
~~~~

対応方法などの詳細は、以下の関連記事を参照のこと。

https://dk521123.hatenablog.com/entry/2021/10/03/000000

注意点２

* ちなみに、v2.0.2にしたら怒られた。。。
~~~~~~
ERROR!!!: Too old Airflow version 2.0.2!
The minimum Airflow version supported: 2.1.0. Only use this or higher!
~~~~~~

４）airflowを起動

* 以下を実行
 => 結構、時間が掛かる。

コマンド

# docker-compose up
docker compose up

５）確認

a) Web UI

* ブラウザで Web UI にアクセスするために、以下にアクセス。

http://localhost:8080

* Login ページになったら、以下を入力。
 + Login : airflow
 + Password : airflow

https://codeclef.medium.com/apache-airflow-using-docker-along-with-the-authentication-caa3522111c4

b) Flower

 => タスクやワーカー数の調整などを行うWeb UI

* ブラウザで Flower にアクセスするために、以下にアクセス。

http://localhost:5555/

６）後片付け

docker compose stop

docker compose down

参考文献

公式ドキュメント
https://airflow.apache.org/docs/apache-airflow/stable/start/docker.html
動画
https://www.youtube.com/watch?v=aTaytcxy2Ck
その他
https://dev.classmethod.jp/articles/trying-apache-airflow-quick-start-docker/

プログラムの超個人的なメモ

Memo for Programming.

【Airflow】Apache Airflow ～環境構築 / Docker 編～

■ はじめに

目次

【１】前提条件

【２】構築環境例

【３】構築手順

１）docker-compose.yml のダウンロード

２）インストール前の下準備

３）airflow-initを実行

４）airflowを起動

５）確認

６）後片付け

参考文献

関連記事