■ はじめに
EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく
目次
【１】AWS環境でFlinkを実行するには 【２】ドキュメント 【３】バージョンの関連性 【４】ログの場所
【１】AWS環境でFlinkを実行するには
* AWS環境でFlinkを実行する際の候補となるサービスは以下。 １）EMR << ★今回のテーマ★ ２）Kinesis Data Analytics (KDA) ３）ECS + Fargate ４）EKS ５）EC2 などなど
https://youtu.be/c_LswkrwOvk?t=242
【２】ドキュメント
* 以下の公式ドキュメントしかない。 => 海外も含めて、EMRでFlinkを動かす事例が皆無。
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html
【３】バージョンの関連性
* EMR の バージョンにより、Flinkのバージョンも決まる
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/Flink-release-history.html
| Amazon EMR リリースラベル | Flink バージョン | Flink でインストールされるコンポーネント |
|---|---|---|
| emr-6.12.0 | 1.17.0 | emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors |
| emr-6.11.0 | 1.16.0 | emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors |
【４】ログの場所
EMR内に入って /usr/lib/flink/log 内にある
参考文献
https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/emr-flink.html
https://aws.amazon.com/jp/blogs/news/now-run-real-time-stream-processing-at-scale-with-apache-flink-on-amazon-emr/
http://mogile.web.fc2.com/flink/flink-docs-release-1.5/ops/deployment/aws.html#emr-elastic-mapreduce
関連記事
Amazon EMR ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ～ boto3 編 ～
https://dk521123.hatenablog.com/entry/2020/06/24/173334
Amazon EMR ～IAM Role周り ～
https://dk521123.hatenablog.com/entry/2023/07/24/160124
Amazon EMR ～ ネットワーク周り ～
https://dk521123.hatenablog.com/entry/2022/05/13/155755
Amazon EMR ～ Auto scaling ～
https://dk521123.hatenablog.com/entry/2022/05/16/115229
Amazon EMR ～ Flink / 入門編 ～
https://dk521123.hatenablog.com/entry/2023/08/19/025641
Amazon EMR ～ Flink / あれこれ編 ～
https://dk521123.hatenablog.com/entry/2023/08/20/231901
Amazon EMR ～ Flink / Glue Data Catalog ～
https://dk521123.hatenablog.com/entry/2023/08/18/181646
Amazon EMR ～ Session Managerを設定する ～
https://dk521123.hatenablog.com/entry/2023/08/16/201948
起動中の EMR に Session Manager を使って入る
https://dk521123.hatenablog.com/entry/2022/05/11/135632
AWS Systems Manager ～ Session Manager ～
https://dk521123.hatenablog.com/entry/2020/04/09/215235
SSHクライアント
https://dk521123.hatenablog.com/entry/2019/10/18/233543
ssh コマンド / scp コマンド
https://dk521123.hatenablog.com/entry/2017/12/09/231200
sshポートフォワーディングを使って、Webサーバにアクセスする
https://dk521123.hatenablog.com/entry/2018/02/08/001413
