【AWS】Amazon EMR ～ Flink / あれこれ編 ～

AWS Apache Flink

■ はじめに

https://dk521123.hatenablog.com/entry/2023/07/16/000000
https://dk521123.hatenablog.com/entry/2023/08/19/025641

の続き。

今回は、Amazon EMR 上で Flink を動かすうえで学んだことを
徐々にではあるが、まとめておく

目次

【１】Flink を Java 11 で実行するように設定する
【２】Flink の Web UI

【１】Flink を Java 11 で実行するように設定する

* Amazon EMR リリース 6.12.0 以降でサポート
* オプションの「ソフトウェア設定」セクションで、
　デフォルトの 「設定を入力」オプションを使用して、次の設定を入力

設定例 

[
    {
      "Classification": "flink-conf",
      "Properties": {
        "containerized.taskmanager.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
        "containerized.master.env.JAVA_HOME":"/usr/lib/jvm/jre-11",
        "env.java.home":"/usr/lib/jvm/jre-11"
      }
    }
]

確認方法

* SSH などでEMR内部に入って以下をコマンド。

コマンド例１ 

$ ps -ef | grep flink
flink    19130     1  0 09:17 ?        00:00:15 /usr/lib/jvm/jre-11/bin/java -Djava.io.tmpdir=/mnt/tmp ...

コマンド例２ 

$ flink-yarn-session -d
2023-05-29 10:38:14,129 INFO ... JAVA_HOME, /usr/lib/jvm/java-11-amazon-corretto.x86_64

【２】Flink の Web UI

https://docs.aws.amazon.com/ja_jp/emr/latest/ReleaseGuide/flink-web-interface.html

SSHトンネル/ポートフォワーディング(SSH tunnel / Port forwarding) 
すれば、Flink の Web UI へのアクセスも可能。
 => SSHトンネル（ポートフォワーディング）については、
　　以下の動画が役立つかも。

https://youtu.be/fpGAnXgBZe0?t=143

接続先についは、以下を参照。

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-web-interfaces.html

Name of interface URL
Flink history server (EMR version 5.33 and later) http://[master-public-dns-name]:8082/

関連記事

Amazon EMR ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ～ Flink / 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2023/07/16/000000
Amazon EMR ～ Flink / 入門編 ～
https://dk521123.hatenablog.com/entry/2023/08/19/025641
Amazon EMR ～ Flink / Glue Data Catalog ～
https://dk521123.hatenablog.com/entry/2023/08/18/181646