【Kafka】Apache Kafka ~ Kafkaコマンド ~

■ はじめに

https://dk521123.hatenablog.com/entry/2024/02/05/153202
https://dk521123.hatenablog.com/entry/2023/04/23/235534

などで使ったKafkaのコマンドについて、徐々にまとめていく

目次

【0】コマンド一覧
【1】Topic
 1)Topic作成
 2)Topic一覧表示
 3)Topic詳細情報表示
【2】Producer
 1)TOPIC にメッセージを書き込む
【3】Consumer
 1)Consumer Groupリスト表示
 2)メッセージ送受信遅延の確認

【0】コマンド一覧

Commands Explanations Memo
zookeeper-server-start ZooKeeper起動 zookeeper-server-start config\zookeeper.properties
kafka-server-start Kafkaクラスタ起動 kafka-server-start config/server.properties
kafka-topics --create --topic [TOPIC] TOPICの作成 kafka-topics --create --topic [TOPIC] --bootstrap-server [SERVER]
kafka-topics --describe --topic [TOPIC] TOPICの表示 kafka-topics --describe --topic [TOPIC] --bootstrap-server [SERVER]
kafka-topics --list --topic [TOPIC] TOPIC一覧表示 kafka-topics --list --topic [TOPIC] --bootstrap-server [SERVER]
kafka-topics --delete --topic [TOPIC] TOPICの削除 kafka-topics --delete --topic [TOPIC] --bootstrap-server [SERVER]
kafka-console-producer --topic [TOPIC] TOPIC にメッセージを書き込む kafka-console-producer --topic [TOPIC] --bootstrap-server [SERVER]
kafka-console-consumer --topic [TOPIC] TOPIC にメッセージを読み取る kafka-console-consumer --topic [TOPIC] --from-beginning --bootstrap-server [SERVER]

【1】Topic

1)Topic作成

# partition数3、Replica数3で保存する場合
kafka-topics --create --bootstrap-server localhost:9092 \
 --topic test-topic --partitions 3 --replication-factor 3

2)Topic一覧表示

kafka-topics --list --bootstrap-server localhost:9092

3)Topic詳細情報表示

# TOPICの表示: kafka-topics --describe --topic [TOPIC] --bootstrap-server [SERVER]
kafka-topics --describe --bootstrap-server localhost:9092 --topic test-topic

【2】Producer

1)TOPIC にメッセージを書き込む

kafka-console-producer --topic test-topic --bootstrap-server localhost:9092

【3】Consumer

1)Consumer Groupリスト表示

# kafka-consumer-groups --bootstrap-server [SERVER] --list
kafka-consumer-groups --bootstrap-server localhost:9092 --list

2)メッセージ送受信遅延の確認

# kafka-consumer-groups --bootstrap-server [SERVER] --describe --group [GROUP_NAME]
kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group demo-kafka-group

TOPIC          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG CONSUMER-ID       HOST         CLIENT-ID
my-topic       0          2               4               2   consumer-1-...    /127.0.0.1   consumer-1
my-topic       1          2               3               1   consumer-1-...    /127.0.0.1   consumer-1
my-topic       2          2               3               1   consumer-2-...    /127.0.0.1   consumer-2

# [LOG-END-OFFSET – CURRENT-OFFSET = LAG ]
# LOG-END-OFFSET: 送信されたメッセージの最新地点
# CURRENT-OFFSET: コンシューマーがコンシュームした最新地点

kafka-consumer-groups --bootstrap-server localhost:9092 --describe --all-groups

参考文献

https://qiita.com/n_morioka/items/d30526aaa893c398754b
https://i-beam.org/2017/12/06/kafka-topics/
https://qiita.com/YutaSaito1991/items/214ee6d5a81ac4436cd4
https://open-groove.net/kafka/apache-kafka-client-tools/

関連記事

Apache Kafka ~ 環境構築 / Windows編 ~
https://dk521123.hatenablog.com/entry/2023/04/23/235534
Apache Kafka ~ 環境構築 / Linux編 ~
https://dk521123.hatenablog.com/entry/2024/02/05/153202
Apache Kafka ~ 環境構築 / Docker compose編 ~
https://dk521123.hatenablog.com/entry/2023/04/24/153846
Apache Kafka ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2023/04/26/103421
Apache Kafka ~ Strimzi ~
https://dk521123.hatenablog.com/entry/2023/05/08/000133
Kafka Connect ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2023/04/29/185133
Kafka Connect ~ 基本編 / PostgreSQL
https://dk521123.hatenablog.com/entry/2023/05/02/233806
Kafka Connect ~ Connector 構成プロパティ ~
https://dk521123.hatenablog.com/entry/2023/06/02/011131
Amazon MSK ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/04/21/000000
Amazon MSK ~ 基本編 / Connector ~
https://dk521123.hatenablog.com/entry/2023/05/20/003516
ScalaApache Kafka / Producer ~
https://dk521123.hatenablog.com/entry/2023/04/27/235703
ScalaApache Kafka / Consumer ~
https://dk521123.hatenablog.com/entry/2023/04/28/014737