■ はじめに

Apache Kafka ～環境構築 / Windows編～
https://dk521123.hatenablog.com/entry/2023/04/23/235534

のLinux版。

【１】構築手順 - 通常版
　０）前提条件
　１）Kafka のインストール
【２】モジュール起動
　１）zookeeper起動
　２）Kafka broker起動
【３】Quick Start
　１）トピックを作成 & 確認
　２）メッセージを送信
　３）メッセージを受信

【１】構築手順 - 通常版

* すごーい、簡単（Windows版と基本変わらない）

０）前提条件

[1] JDK

Linuxの場合
https://dk521123.hatenablog.com/entry/2017/08/01/234900

# より抜粋

sudo apt update
sudo apt install openjdk-11-jre-headless

１）Kafka のインストール

* 以下の公式サイトから、ダウンロードして任意の場所に解凍する
 => 今回は、v3.7.0 - Scala 2.12 版「kafka_2.12-3.7.0.tgz」をダウンロード

https://kafka.apache.org/downloads

Linux(Ubuntu)の場合

# Step1: ダウンロード
# curl -OL {ダウンロードするURL}
curl -OL https://downloads.apache.org/kafka/3.7.0/kafka_2.12-3.7.0.tgz

# Step2: 解凍
# -x (--extract,--get) ... アーカイブからファイルを抽出する
# -z (--gzip) ... gzip形式アーカイブを展開する
# -f アーカイブ (--file=アーカイブ) ... アーカイブファイル名を指定する
# -C <解凍先PATH> ... 解凍先を指定
sudo tar -xzf kafka_2.12-3.7.0.tgz -C /usr/local/bin/
# 所有権を自分にする
sudo chown $(whoami) -R /usr/local/bin/kafka_2.12-3.7.0/

# Step3: Path を通す (下記の関連記事「Linux ～ 環境変数あれこれ ～」を参照)
vi ~/.bash_profile
~~~~~~~~~~~
# Add /usr/local/bin/kafka_2.12-3.7.0/bin/:
# PATH="/usr/local/bin/kafka_2.12-3.7.0/bin/:【元の設定】"
PATH=/usr/local/bin/kafka_2.12-3.7.0/bin/:$PATH
~~~~~~~~~~~
source ~/.bash_profile

# Step4: 確認
kafka-topics.sh --version
# 今回の場合「3.7.0」が表示される

Linux ～環境変数あれこれ～
https://dk521123.hatenablog.com/entry/2015/07/16/103501

【２】モジュール起動

１）zookeeper起動

Linuxの場合

# Start the ZooKeeper service
zookeeper-server-start.sh /usr/local/bin/kafka_2.12-3.7.0/config/zookeeper.properties
# （放置）

２）Kafka broker起動

Linuxの場合

# Start the Kafka broker service
kafka-server-start.sh /usr/local/bin/kafka_2.12-3.7.0/config/server.properties
# （放置）

【３】Quick Start

* 公式ドキュメントのQuick Startをやってみる
 => Step1-2は、既に上記で行っているので、Step3~Step5。

https://kafka.apache.org/quickstart

日本語版？
http://mogile.web.fc2.com/kafka/kafka200/quickstart.html

１）トピックを作成 & 確認

Linuxの場合

# STEP 3: CREATE A TOPIC TO STORE YOUR EVENTS
## Topic「quickstart-events」を作成
$ kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

# 確認
## Topic一覧表示
$ kafka-topics.sh --list --bootstrap-server localhost:9092
quickstart-events <= 一覧

## Topic「quickstart-events」の詳細情報を表示
$ kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
Topic: quickstart-events        TopicId: K7xLXZkTSCGkqWHIfnAotQ PartitionCount: 1  ReplicationFactor: 1     Configs:
        Topic: quickstart-events        Partition: 0    Leader: 0       Replicas: 0Isr: 0

２）メッセージを送信

Linuxの場合

# STEP 4: WRITE SOME EVENTS INTO THE TOPIC
kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

# あとは、以下の関連記事の「Windowの場合」を参照

Apache Kafka ～環境構築 / Windows編～
https://dk521123.hatenablog.com/entry/2023/04/23/235534

３）メッセージを受信

Linuxの場合

# STEP 5: READ THE EVENTS
kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

参考文献

http://java-study.blog.jp/archives/1075373530.html

プログラムの超個人的なメモ

Memo for Programming.

【Kafka】Apache Kafka ～環境構築 / Linux編～

■ はじめに

目次

【１】構築手順 - 通常版

０）前提条件

１）Kafka のインストール

【２】モジュール起動

１）zookeeper起動

２）Kafka broker起動

【３】Quick Start

１）トピックを作成 & 確認

２）メッセージを送信

３）メッセージを受信

参考文献

関連記事