■ はじめに

https://dk521123.hatenablog.com/entry/2021/11/05/233309

の続き。

MWAA Localの 環境構築としてDocker composeを使い
aws-mwaa-local-runner と LocalStack と組み合わせにする。

【１】構築方針

* docker-compose を使用して構築する
 => docker-compose については、以下の関連記事を参照のこと。

Docker compose ～環境構築編～
https://dk521123.hatenablog.com/entry/2022/04/28/000000

１）前提条件

* Docker/Docker composeを使える環境
* Port : 8080/4566 を使っていない環境
 => ポートが使用されている場合は、別ポートに振りなおす
* Shell が実行できる環境
 => 参考にしたdocker-compose.ymlがLinux環境前提で作成されている
 => 今回は、Git for windowsをインストール時に
　　付与されてくる Git Bash を使って対応した

【２】構築手順

１）docker-compose の作成
２）「docker-compose up -d」の実行
３）動作確認

１）docker-compose の作成

* 以下のサービスを追加できる docker-compose を作成する
[1] aws-mwaa-local-runner
[2] LocalStack
[3] PostgreSQL
[4] AWS CLI

docker-compose.yml

version: "3"

services:
  localstack:
    image: localstack/localstack:latest
    container_name: "localstack"
    ports:
      - "4566:4566"
    environment:
      # 自分の使いたいAWSサービスを追加
      - SERVICES=dynamodb,sqs,s3,iam,sns,redshift,lambda
      - DOCKER_HOST=unix:///var/run/docker.sock
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
      - "/tmp/localstack:/tmp/localstack"
  postgres:
      image: postgres:10-alpine
      environment:
          - POSTGRES_USER=airflow
          - POSTGRES_PASSWORD=airflow
          - POSTGRES_DB=airflow
      logging:
          options:
              max-size: 10m
              max-file: "3"
      volumes:
          - "${PWD}/db-data:/var/lib/postgresql/data"
  # 以下を参考
  # https://github.com/aws/aws-mwaa-local-runner/blob/v2.6.3/docker/docker-compose-local.yml
  local-runner:
      image: amazon/mwaa-local:2_6
      restart: always
      depends_on:
          - postgres
      environment:
          - LOAD_EX=n
          - EXECUTOR=Local
          - DEFAULT_PASSWORD="test"
      logging:
          options:
              max-size: 10m
              max-file: "3"
      volumes:
          - ${PWD}/dags:/usr/local/airflow/dags
          - ${PWD}/plugins:/usr/local/airflow/plugins
      ports:
          - "8080:8080"
      command: local-runner
      healthcheck:
          test: ["CMD-SHELL", "[ -f /usr/local/airflow/airflow-webserver.pid ]"]
          interval: 30s
          timeout: 30s
          retries: 3
  aws-cli:
    image: mesosphere/aws-cli
    container_name: "aws-cli"
    volumes:
      - ./resources:/tmp/resources
    environment:
      - AWS_ACCESS_KEY_ID=dummyaccess
      - AWS_SECRET_ACCESS_KEY=dummysecret
      - AWS_DEFAULT_REGION=us-east-1
    entrypoint: /bin/sh -c
    command: >
      "
        aws dynamodb create-table --endpoint http://localstack:4566 \
        --table-name report-request \
        --attribute-definitions AttributeName=reportRequestId,AttributeType=S  \
        --key-schema AttributeName=reportRequestId,KeyType=HASH  \
        --provisioned-throughput ReadCapacityUnits=5,WriteCapacityUnits=5
        aws dynamodb batch-write-item --endpoint http://localstack:4566 \
        --request-items file:///tmp/resources/report-request.json \
        --return-consumed-capacity INDEXES \
        --return-item-collection-metrics SIZE
        aws sqs create-queue --endpoint http://localstack:4566 \
        --queue-name myqueue
        aws --endpoint http://localstack:4566 s3 mb s3://reports
        aws --endpoint http://localstack:4566 s3 mb s3://reports-output
        aws --endpoint http://localstack:4566 s3 cp /tmp/resources/fake-report.json \
        s3://reports/fake-report.json
      "
    depends_on:
      - localstack

２）「docker-compose up -d」の実行

# Windowsの場合、「Git-bash」で実行する
docker-compose up -d

３）動作確認

* ブラウザで以下にアクセスする

Airflow
http://localhost:8080/home
LocalStack
http://localhost:4566

【３】その他操作

１）S3を操作

# S3バケット「local-demo-bucket」作成
$ aws s3api create-bucket --bucket local-demo-bucket --endpoint-url http://localhost:4566

{
    "Location": "http://local-demo-bucket.s3.localhost.localstack.cloud:4566/"
}

２）Redshiftのクラスタ作成

* 以下のサイトを参考にした。

https://qiita.com/greenteabiscuit/items/73e5552655cb38685d10

[1] プロファイル作成

aws configure --profile localstack

[2] Redshiftのクラスタ作成

aws redshift create-cluster --cluster-identifier demo-for-mwaa --node-type dw.hs1.xlarge --master-username user --master-user-password password --profile localstack --endpoint-url=http://localhost:4566

【４】課題

* LocalStack については、S3 や RedShift を対応しているが
　EMRは非対応なので、もし、EMRを使っている場合は、
　別途、どうするか考えなくてはならない

参考文献

https://aws.plainenglish.io/end-to-end-pipeline-mocking-with-localstack-and-airflow-mwaa-ac4f019c3a0e
https://medium.com/codex/how-to-setup-a-local-mwaa-development-environment-92e4e7557ecb

プログラムの超個人的なメモ

Memo for Programming.

【Airflow】MWAA Local ～環境構築編 / Docker compose ～

■ はじめに

目次

【１】構築方針

１）前提条件

【２】構築手順

１）docker-compose の作成

２）「docker-compose up -d」の実行

３）動作確認

【３】その他操作

１）S3を操作

２）Redshiftのクラスタ作成

【４】課題

参考文献

関連記事