【AWS】Amazon EMR ～ Flink / 入門編 ～

AWS Apache Flink

■ はじめに

https://dk521123.hatenablog.com/entry/2023/07/16/000000

の続き。
今回は、Amazon EMR 上で、Flink を実行する際に
結構ハマりまくったので、メモっておく

目次

【１】Flink 実行までの手順
　Step１：EMRクラスタを作成
　Step２：Flink YARNを開始するためのStepを追加
　Step３：JARを実行するためのStepを追加
【２】トラブル
　１）エラー内容
　２）原因

【１】Flink 実行までの手順

もっといい方法があるかもしれないけど。

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-jobs.html

Step１：EMRクラスタを作成

* EMR version: v6.9.0 or higher（今回の場合は、「emr-6.12.0」）
* Hive / Flink は必須（今回の場合は、「Flink」を選択すると「Flink/Hadoop/Hive/Zeppelin」が入る）
[1] 「Steps - Optional」欄の「Add」ボタン押下
[2] 以下URLの「Start a Flink YARN application as a step on a long-running cluster」を
　　参考に、表のようなパラメータを設定し、「Save step」ボタン押下

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-jobs.html

Parameters Explanations
Type 「Custom JAR」を選択
Name 任意の文字列（e.g. demo-flink-step1）
Jar location command-runner.jar
Arguments flink-yarn-session -d

Step３：JARを実行するためのStepを追加

[1] 「Steps - Optional」欄の「Add」ボタン押下
[2] 表のようなパラメータを設定し、「Save step」ボタン押下
Parameters Explanations
Type 「Custom JAR」を選択
Name 任意の文字列（e.g. demo-flink-step1）
Jar location command-runner.jar
Arguments bash -c "flink run -m yarn-cluster <実行したいJARのパス> <JARの引数>"　（※１を参照）

※１：引数の例 

bash -c "flink run -m yarn-cluster /usr/lib/flink/examples/streaming/WordCount.jar
--input s3://your-s3-bucket/inputs/pg11.txt --output s3://your-s3-bucket/outputs/"

【２】トラブル

「Step２：Flink YARNを開始するためのStepを追加」を行っているが
やらないと、以下の「１）エラー内容」が表示されてしまう

１）エラー内容

org.apache.flink.shaded.netty4.io.netty.channel.AbstractChannel$AnnotatedConnectException:
Connection refused: localhost/0.0.0.0:8081

２）原因

https://stackoverflow.com/questions/52595826/flink-connection-refused-localhost-127-0-0-18081

より抜粋
~~~~~~~~~~~~~
It seems that the Apache flink cluster is not running.
~~~~~~~~~~~~~

関連記事

Amazon EMR ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2020/02/20/230519
Amazon EMR ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2020/05/27/175610
Amazon EMR ～ Flink / 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2023/07/16/000000
Amazon EMR ～ Flink / あれこれ編 ～
https://dk521123.hatenablog.com/entry/2023/08/20/231901