■ はじめに
https://dk521123.hatenablog.com/entry/2024/02/05/153202
https://dk521123.hatenablog.com/entry/2023/04/23/235534
などで使ったKafkaのコマンドについて、徐々にまとめていく
目次
【０】コマンド一覧 【１】Topic １）Topic作成 ２）Topic一覧表示 ３）Topic詳細情報表示 【２】Producer １）TOPIC にメッセージを書き込む 【３】Consumer １）Consumer Groupリスト表示 ２）メッセージ送受信遅延の確認
【０】コマンド一覧
| Commands | Explanations | Memo |
|---|---|---|
| zookeeper-server-start | ZooKeeper起動 | zookeeper-server-start config\zookeeper.properties |
| kafka-server-start | Kafkaクラスタ起動 | kafka-server-start config/server.properties |
| kafka-topics --create --topic [TOPIC] | TOPICの作成 | kafka-topics --create --topic [TOPIC] --bootstrap-server [SERVER] |
| kafka-topics --describe --topic [TOPIC] | TOPICの表示 | kafka-topics --describe --topic [TOPIC] --bootstrap-server [SERVER] |
| kafka-topics --list --topic [TOPIC] | TOPIC一覧表示 | kafka-topics --list --topic [TOPIC] --bootstrap-server [SERVER] |
| kafka-topics --delete --topic [TOPIC] | TOPICの削除 | kafka-topics --delete --topic [TOPIC] --bootstrap-server [SERVER] |
| kafka-console-producer --topic [TOPIC] | TOPIC にメッセージを書き込む | kafka-console-producer --topic [TOPIC] --bootstrap-server [SERVER] |
| kafka-console-consumer --topic [TOPIC] | TOPIC にメッセージを読み取る | kafka-console-consumer --topic [TOPIC] --from-beginning --bootstrap-server [SERVER] |
【１】Topic
１）Topic作成
# partition数3、Replica数3で保存する場合 kafka-topics --create --bootstrap-server localhost:9092 \ --topic test-topic --partitions 3 --replication-factor 3
２）Topic一覧表示
kafka-topics --list --bootstrap-server localhost:9092
３）Topic詳細情報表示
# TOPICの表示: kafka-topics --describe --topic [TOPIC] --bootstrap-server [SERVER] kafka-topics --describe --bootstrap-server localhost:9092 --topic test-topic
【２】Producer
１）TOPIC にメッセージを書き込む
kafka-console-producer --topic test-topic --bootstrap-server localhost:9092
【３】Consumer
１）Consumer Groupリスト表示
# kafka-consumer-groups --bootstrap-server [SERVER] --list kafka-consumer-groups --bootstrap-server localhost:9092 --list
２）メッセージ送受信遅延の確認
# kafka-consumer-groups --bootstrap-server [SERVER] --describe --group [GROUP_NAME] kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group demo-kafka-group TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID my-topic 0 2 4 2 consumer-1-... /127.0.0.1 consumer-1 my-topic 1 2 3 1 consumer-1-... /127.0.0.1 consumer-1 my-topic 2 2 3 1 consumer-2-... /127.0.0.1 consumer-2 # [LOG-END-OFFSET – CURRENT-OFFSET = LAG ] # LOG-END-OFFSET: 送信されたメッセージの最新地点 # CURRENT-OFFSET: コンシューマーがコンシュームした最新地点 kafka-consumer-groups --bootstrap-server localhost:9092 --describe --all-groups
参考文献
https://qiita.com/n_morioka/items/d30526aaa893c398754b
https://i-beam.org/2017/12/06/kafka-topics/
https://qiita.com/YutaSaito1991/items/214ee6d5a81ac4436cd4
https://open-groove.net/kafka/apache-kafka-client-tools/
関連記事
Apache Kafka ～ 環境構築 / Windows編 ～
https://dk521123.hatenablog.com/entry/2023/04/23/235534
Apache Kafka ～ 環境構築 / Linux編 ～
https://dk521123.hatenablog.com/entry/2024/02/05/153202
Apache Kafka ～ 環境構築 / Docker compose編 ～
https://dk521123.hatenablog.com/entry/2023/04/24/153846
Apache Kafka ～ 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2023/04/26/103421
Apache Kafka ～ Strimzi ～
https://dk521123.hatenablog.com/entry/2023/05/08/000133
Kafka Connect ～ 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2023/04/29/185133
Kafka Connect ～ 基本編 / PostgreSQL ～
https://dk521123.hatenablog.com/entry/2023/05/02/233806
Kafka Connect ～ Connector 構成プロパティ ～
https://dk521123.hatenablog.com/entry/2023/06/02/011131
Amazon MSK ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2023/04/21/000000
Amazon MSK ～ 基本編 / Connector ～
https://dk521123.hatenablog.com/entry/2023/05/20/003516
Scala ～ Apache Kafka / Producer ～
https://dk521123.hatenablog.com/entry/2023/04/27/235703
Scala ～ Apache Kafka / Consumer ～
https://dk521123.hatenablog.com/entry/2023/04/28/014737
