【AWS】Amazon EMR ~ Flink / 基礎知識編 ~

■ はじめに

EMR 上で Flink を動かす可能性がでてきたので
徐々にメモっておく

目次

【1】AWS環境でFlinkを実行するには
【2】ドキュメント
【3】バージョンの関連性
【4】ログの場所

【1】AWS環境でFlinkを実行するには

* AWS環境でFlinkを実行する際の候補となるサービスは以下。

1)EMR << ★今回のテーマ★
2)Kinesis Data Analytics (KDA)
3)ECS + Fargate
4)EKS
5)EC2

などなど

https://youtu.be/c_LswkrwOvk?t=242

【2】ドキュメント

* 以下の公式ドキュメントしかない。
 => 海外も含めて、EMRでFlinkを動かす事例が皆無。

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html

【3】バージョンの関連性

* EMR の バージョンにより、Flinkのバージョンも決まる

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/Flink-release-history.html

Amazon EMR リリースラベル Flink バージョン Flink でインストールされるコンポーネント
emr-6.12.0 1.17.0 emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors
emr-6.11.0 1.16.0 emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

【4】ログの場所

EMR内に入って
/usr/lib/flink/log 内にある

参考文献

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html
https://aws.amazon.com/jp/blogs/news/now-run-real-time-stream-processing-at-scale-with-apache-flink-on-amazon-emr/
http://mogile.web.fc2.com/flink/flink-docs-release-1.5/ops/deployment/aws.html#emr-elastic-mapreduce

関連記事

Amazon EMR ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ~ boto3 編 ~
https://dk521123.hatenablog.com/entry/2020/06/24/173334
Amazon EMR ~IAM Role周り ~
https://dk521123.hatenablog.com/entry/2023/07/24/160124
Amazon EMR ~ ネットワーク周り ~
https://dk521123.hatenablog.com/entry/2022/05/13/155755
Amazon EMR ~ Auto scaling ~
https://dk521123.hatenablog.com/entry/2022/05/16/115229
Amazon EMR ~ Flink / 入門編 ~
https://dk521123.hatenablog.com/entry/2023/08/19/025641
Amazon EMR ~ Flink / あれこれ編 ~
https://dk521123.hatenablog.com/entry/2023/08/20/231901
Amazon EMR ~ Flink / Glue Data Catalog ~
https://dk521123.hatenablog.com/entry/2023/08/18/181646
Amazon EMR ~ Session Managerを設定する ~
https://dk521123.hatenablog.com/entry/2023/08/16/201948
起動中の EMR に Session Manager を使って入る
https://dk521123.hatenablog.com/entry/2022/05/11/135632
AWS Systems Manager ~ Session Manager ~
https://dk521123.hatenablog.com/entry/2020/04/09/215235
SSHクライアント
https://dk521123.hatenablog.com/entry/2019/10/18/233543
ssh コマンド / scp コマンド
https://dk521123.hatenablog.com/entry/2017/12/09/231200
sshポートフォワーディングを使って、Webサーバにアクセスする
https://dk521123.hatenablog.com/entry/2018/02/08/001413