■ はじめに
EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく
目次
【1】AWS環境でFlinkを実行するには 【2】ドキュメント 【3】バージョンの関連性 【4】ログの場所
【1】AWS環境でFlinkを実行するには
* AWS環境でFlinkを実行する際の候補となるサービスは以下。 1)EMR << ★今回のテーマ★ 2)Kinesis Data Analytics (KDA) 3)ECS + Fargate 4)EKS 5)EC2 などなど
https://youtu.be/c_LswkrwOvk?t=242
【2】ドキュメント
* 以下の公式ドキュメントしかない。 => 海外も含めて、EMRでFlinkを動かす事例が皆無。
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html
【3】バージョンの関連性
* EMR の バージョンにより、Flinkのバージョンも決まる
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/Flink-release-history.html
Amazon EMR リリースラベル | Flink バージョン | Flink でインストールされるコンポーネント |
---|---|---|
emr-6.12.0 | 1.17.0 | emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors |
emr-6.11.0 | 1.16.0 | emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors |
【4】ログの場所
EMR内に入って /usr/lib/flink/log 内にある
参考文献
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html
https://aws.amazon.com/jp/blogs/news/now-run-real-time-stream-processing-at-scale-with-apache-flink-on-amazon-emr/
http://mogile.web.fc2.com/flink/flink-docs-release-1.5/ops/deployment/aws.html#emr-elastic-mapreduce
関連記事
Amazon EMR ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ~ boto3 編 ~
https://dk521123.hatenablog.com/entry/2020/06/24/173334
Amazon EMR ~IAM Role周り ~
https://dk521123.hatenablog.com/entry/2023/07/24/160124
Amazon EMR ~ ネットワーク周り ~
https://dk521123.hatenablog.com/entry/2022/05/13/155755
Amazon EMR ~ Auto scaling ~
https://dk521123.hatenablog.com/entry/2022/05/16/115229
Amazon EMR ~ Flink / 入門編 ~
https://dk521123.hatenablog.com/entry/2023/08/19/025641
Amazon EMR ~ Flink / あれこれ編 ~
https://dk521123.hatenablog.com/entry/2023/08/20/231901
Amazon EMR ~ Flink / Glue Data Catalog ~
https://dk521123.hatenablog.com/entry/2023/08/18/181646
Amazon EMR ~ Session Managerを設定する ~
https://dk521123.hatenablog.com/entry/2023/08/16/201948
起動中の EMR に Session Manager を使って入る
https://dk521123.hatenablog.com/entry/2022/05/11/135632
AWS Systems Manager ~ Session Manager ~
https://dk521123.hatenablog.com/entry/2020/04/09/215235
SSHクライアント
https://dk521123.hatenablog.com/entry/2019/10/18/233543
ssh コマンド / scp コマンド
https://dk521123.hatenablog.com/entry/2017/12/09/231200
sshポートフォワーディングを使って、Webサーバにアクセスする
https://dk521123.hatenablog.com/entry/2018/02/08/001413