■ はじめに

https://dk521123.hatenablog.com/entry/2023/04/21/000000

の続き。

https://dk521123.hatenablog.com/entry/2023/05/14/122215

で、AWS環境に
Amazon MSK（Managed Streaming for apache Kafka）の
Cluster および Connector を構築することができた。
ここで作った MSK Connector に対して、
色々とやった技術事項をまとめておく。

【１】Amazon MSK の IAM アクセス制御
　１）接続設定
　２）JARファイル「aws-msk-iam-authライブラリ」
【２】MSK Connector に接続テストする
　１）ブートストラップサーバのURLを調べる
　２）kafkaでメッセージを送信する
【３】トラブル
　１）エラー「IAMClientCallbackHandler could not be found」が表示

【１】Amazon MSK の IAM アクセス制御

https://docs.aws.amazon.com/ja_jp/msk/latest/developerguide/iam-access-control.html
https://github.com/aws/aws-msk-iam-auth

に記載されている以下が必要。
１）接続設定
２）JARファイル「aws-msk-iam-authライブラリ」

１）接続設定

client.properties

# Sets up TLS for encryption and SASL for authN.
security.protocol=SASL_SSL

# Identifies the SASL mechanism to use.
sasl.mechanism=AWS_MSK_IAM

# Binds SASL client implementation.
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;

# Encapsulates constructing a SigV4 signature based on extracted credentials.
# The SASL client bound by "sasl.jaas.config" invokes this class.
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler

２）JARファイル「aws-msk-iam-authライブラリ」

* 以下から、JARファイル（例「aws-msk-iam-auth-1.1.6-all.jar」）
　を落としてきて、KafkaのLibsフォルダ（例「kafka_2.13-3.4.0\libs」）に
　入れる。

https://github.com/aws/aws-msk-iam-auth/releases

【２】MSK Connector に接続テストする

１）ブートストラップサーバのURLを調べる

[1] Amazon MSK コンソールを開く
[2] MSKクラスターの名前を選択
[3] [Cluster summary] (クラスターの概要) ページで、
　[View client information] (クライアント情報の表示) を選択

 => 以下の公式ドキュメントを参照。

https://docs.aws.amazon.com/ja_jp/msk/latest/developerguide/msk-get-bootstrap-brokers.html

２）kafkaでメッセージを送信する

コマンド例

export KAFKA_HOME=~/kafka_2.13-3.4.0/
export PATH=${KAFKA_HOME}/bin:$PATH
export CONFIG_PATH=~/client.properties

# Set bootstrap server URL
export BOOTSTRAP_SERVER=b-1xxxxx.kafka.us-west-2.amazonaws.com:9094

exprot TARGET_TOPIC=connect-test

# Create TOPIC
kafka-topics.sh --create --topic $TARGET_TOPIC \
 --bootstrap-server $BOOTSTRAP_SERVER
 --partitions 1 --replication-factor 3  \
 --command-config $CONFIG_PATH

# To confirm
kafka-topics --list --bootstrap-server $BOOTSTRAP_SERVER
 --command-config $CONFIG_PATH

# To send message to Topic
kafka-console-producer --topic $TARGET_TOPI \
--bootstrap-server $BOOTSTRAP_SERVER \
--command-config $CONFIG_PATH  < sample_records.json

【３】トラブル

１）エラー「IAMClientCallbackHandler could not be found」が表示

トラブル概要

kafkaコマンド（例えば、「kafka-topics.sh --create ...」）を実行した際に
以下のエラー内容が表示された

エラー内容

Exception in thread "main" org.apache.kafka.common.config.ConfigException: Invalid value 
software.amazon.msk.auth.iam.IAMClientCallbackHandler for configuration sasl.client.callback.handler.class: 
Class software.amazon.msk.auth.iam.IAMClientCallbackHandler could not be found.

原因

* aws-msk-iam-auth ライブラリ(jar)が libsフォルダに入れたのだが
　そのJarファイルがゴミデータだったため

https://github.com/aws/aws-msk-iam-auth#iamclientcallbackhandler-could-not-be-found

That means that this aws-msk-iam-auth library is not on the classpath of the Kafka client.
Please add the aws-msk-iam-auth library to the classpath and try again.

解決案

* ちゃんとWebからきっちり落としてきて
　KafkaのLibsフォルダに入れる

プログラムの超個人的なメモ

Memo for Programming.

【AWS】Amazon MSK ～基本編 / Connector ～

■ はじめに

目次

【１】Amazon MSK の IAM アクセス制御

１）接続設定

２）JARファイル「aws-msk-iam-authライブラリ」

【２】MSK Connector に接続テストする

１）ブートストラップサーバのURLを調べる

２）kafkaでメッセージを送信する

【３】トラブル

１）エラー「IAMClientCallbackHandler could not be found」が表示

関連記事