【Kafka】Apache Kafka ~ 環境構築 / Linux編 ~

■ はじめに

Apache Kafka ~ 環境構築 / Windows編 ~
https://dk521123.hatenablog.com/entry/2023/04/23/235534

のLinux版。

目次

【1】構築手順 - 通常版
 0)前提条件
 1)Kafka のインストール
【2】モジュール起動
 1)zookeeper起動
 2)Kafka broker起動
【3】Quick Start
 1)トピックを作成 & 確認
 2)メッセージを送信
 3)メッセージを受信

【1】構築手順 - 通常版

* すごーい、簡単(Windows版と基本変わらない)

0)前提条件

[1] JDK

Linuxの場合
https://dk521123.hatenablog.com/entry/2017/08/01/234900

# より抜粋

sudo apt update
sudo apt install openjdk-11-jre-headless

1)Kafka のインストール

* 以下の公式サイトから、ダウンロードして任意の場所に解凍する
 => 今回は、v3.6.1 - Scala 2.12 版「kafka_2.12-3.6.1.tgz」をダウンロード

https://kafka.apache.org/downloads

Linux(Ubuntu)の場合

# Step1: ダウンロード
# curl -OL {ダウンロードするURL}
curl -OL https://downloads.apache.org/kafka/3.6.1/kafka_2.12-3.6.1.tgz

# Step2: 解凍
tar -xzf kafka_2.12-3.6.1.tgz
sudo mv kafka_2.12-3.6.1 /usr/local/kafka

# Step3: Path を通す
sudo vi /etc/enviroment
~~~~~~~~~~~
# Add /usr/local/kafka/bin:
PATH="/usr/local/kafka/bin:【元の設定】"
~~~~~~~~~~~
source /etc/enviroment

# Step4: 確認
kafka-topics.sh --version
# 今回の場合「3.6.1」が表示される

【2】モジュール起動

1)zookeeper起動

Linuxの場合

# Start the ZooKeeper service
zookeeper-server-start.sh config/zookeeper.properties

2)Kafka broker起動

Linuxの場合

# Start the Kafka broker service
kafka-server-start.sh config/server.properties

【3】Quick Start

* 公式ドキュメントのQuick Startをやってみる
 => Step1-2は、既に上記で行っているので、Step3~Step5。

https://kafka.apache.org/quickstart
日本語版?
http://mogile.web.fc2.com/kafka/kafka200/quickstart.html

1)トピックを作成 & 確認

Linuxの場合

# STEP 3: CREATE A TOPIC TO STORE YOUR EVENTS
kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

# 確認
kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

2)メッセージを送信

Linuxの場合

# STEP 4: WRITE SOME EVENTS INTO THE TOPIC
kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

# あとは、以下の関連記事の「Windowの場合」を参照

Apache Kafka ~ 環境構築 / Windows編 ~
https://dk521123.hatenablog.com/entry/2023/04/23/235534

3)メッセージを受信

Linuxの場合

# STEP 5: READ THE EVENTS
kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

参考文献

http://java-study.blog.jp/archives/1075373530.html

関連記事

Apache Kafka ~ 環境構築 / Windows編 ~
https://dk521123.hatenablog.com/entry/2023/04/23/235534
Apache Kafka ~ 環境構築 / Docker compose編 ~
https://dk521123.hatenablog.com/entry/2023/04/24/153846
Apache Kafka ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2023/04/26/103421
Apache Kafka ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/05/01/000000
Apache Kafka ~ Kafkaコマンド ~
https://dk521123.hatenablog.com/entry/2023/05/16/000000
Apache Kafka ~ Remote debug ~
https://dk521123.hatenablog.com/entry/2023/10/23/125909
Apache Kafka ~ Strimzi ~
https://dk521123.hatenablog.com/entry/2023/05/08/000133
Apache Kafka ~ 設定値 ~
https://dk521123.hatenablog.com/entry/2023/05/28/151212
Kafka Connect ~ 環境構築編 ~
https://dk521123.hatenablog.com/entry/2023/10/22/220717
Kafka Connect ~ 環境構築 / Docker compose編 ~
https://dk521123.hatenablog.com/entry/2023/08/11/220921
Kafka Connect ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2023/04/29/185133
Kafka Connect ~ 基本編 / PostgreSQL
https://dk521123.hatenablog.com/entry/2023/05/02/233806
Kafka Connect ~ Connector 構成プロパティ ~
https://dk521123.hatenablog.com/entry/2023/06/02/011131
Kafka Connect ~ Rest API
https://dk521123.hatenablog.com/entry/2023/05/31/000000
Amazon MSK ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/04/21/000000
Amazon MSK ~ 基本編 / Connector ~
https://dk521123.hatenablog.com/entry/2023/05/20/003516
Amazon MSK ~ AWS CLI
https://dk521123.hatenablog.com/entry/2023/06/03/003941
kafka-python ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2023/10/24/000309
ローカル環境のKafkaでのトラブルシュート
https://dk521123.hatenablog.com/entry/2023/10/19/210341
Terraform ~ AWS MSK ~
https://dk521123.hatenablog.com/entry/2023/05/14/122215
Terraform ~ AWS MSK Connect ~
https://dk521123.hatenablog.com/entry/2023/05/25/000000
Kafkaコネクタ ~ Kafka用Snowflakeコネクタ ~
https://dk521123.hatenablog.com/entry/2023/06/07/144114
ScalaApache Kafka / Producer ~
https://dk521123.hatenablog.com/entry/2023/04/27/235703
ScalaApache Kafka / Consumer ~
https://dk521123.hatenablog.com/entry/2023/04/28/014737