■ はじめに

https://dk521123.hatenablog.com/entry/2023/04/23/235534
https://dk521123.hatenablog.com/entry/2023/04/24/153846
https://dk521123.hatenablog.com/entry/2023/04/26/103421

の続き。

今回は、Apache Kafkaの基本となる構成要素などについて扱う。

【１】メッセージ
【２】システム構成
　１）Producer (Publisher)
　２）Broker
　３）Consumer (Subscriber)
　補足：Apache zookeeper
【３】論理構造
　１）Topic
　２）Partition
　３）Replica
【４】Partitionの特徴
【５】Kafka API
　１）Producer API
　２）Consumer API
　３）Connect API
　４）Streams API （Kafka Streams）
　５）Admin API

【１】メッセージ

* Kafka に送受信されるデータの基本単位
* 「イベント」、「レコード」と呼ぶ場合もある

ヘッダー（Header）

* イベントのメタデータや補足情報を格納

キー（Key）

* イベント格納先の振り分けや集約に使用されるデータ
* キーを設定しないことも可能

タイムスタンプ（Timestamp）

* イベント作成時の時刻

値（Value）

* イベントで処理したいデータ本体
* 形式は様々（文字列、JSONなど）

【２】システム構成

* 大きく分けて、以下の３通りで構成。

[Producer(Publisher)]<=>[Broker]<=>[Consumer(Subscriber)]

１）Producer (Publisher)

* データをBrokerに対して、送信する側のアプリケーション

https://tech-lab.sios.jp/archives/32041
https://tech-lab.sios.jp/archives/32130

２）Broker

* Kafkaクラスタを構成するサーバ

３）Consumer (Subscriber)

* データをBrokerに対して、受信する側のアプリケーション

https://tech-lab.sios.jp/archives/32183

補足：Apache zookeeper

* Kafkaのメタデータを保持する
~~~~~
 + Topicの一覧
 + Topic の設定値
 + Partition の状態
 + Broker の一覧
 + Broker のACL(Access Control List)の設定値
~~~~~
* Zookeeper もクラスタ（複数）で構成

【３】論理構造

１）Topic
２）Partition
３）Replica

１）Topic

* Kafkaのイベントの送受信先
* Topic 名は、一意で区別される

２）Partition

* 分散処理のために、Topicを分割したもの
* 各パーティションにメッセージを均等にする

補足：Offset

* Partition内で連続した番号

３）Replica

* 耐障害のために作られる各Patitionの複製

[1] Leader Replica

* Product/Consumerと直接やりとりするデータ

[2] Follower Replica

* 「Leader Replica」と常に同期をとっている耐障害に備えているデータ
 => サーバに障害が起きた際に、そのサーバに保持されていた「Leader Replica」の
　　代わりになるように控えている

【４】Partitionの特徴

[1] 同一Partitionでは、イベントの順序が送信順であることが
　保証されている
　（例：Partition-2のOffset=12, Offset=13の配信タイムスタンプは前者が先）
 => ただし、Topic間のPartition間は順序は保証されていない

[2] レプリケーションの冗長化（じょうちょうか）
 => 各Partitionのメッセージは、複数のBrokerにコピーされる
 => 一つのPartitionにつき、レプリカ内で書き込み可能なPartition
　（このPartitionを「Leader Replica」と呼ぶ）はひとつだけ
 => 「Leader Replica」のBrokerに障害が発生した場合、
　　別のBrokerにある「Follower Replica」が
　　「Leader Replica」として昇格する

【５】Kafka API

１）Producer API

* Topic にメッセージを送信するためのAPI

２）Consumer API

* Topic からメッセージを受信するためのAPI

３）Connect API

* DB、TwitterなどのデータシステムとKafka間で
　継続的にメッセージを送受信するためのAPI
* 詳細は、以下の関連記事を参照のこと

Apache Kafka ～ Kafka Connect ～
https://dk521123.hatenablog.com/entry/2023/04/29/185133
Apache Kafka ～ Kafka Connect / PostgreSQL ～
https://dk521123.hatenablog.com/entry/2023/05/02/233806

４）Streams API （Kafka Streams）

* Kafkaから読み取ったストリームデータを
　リアルタイムに処理するためのAPI

５）Admin API

* Kafkaクラスタの管理目的に使用されるAPI
 => 例えば、Topic, ACI, その他Brokerに関わる設定操作

プログラムの超個人的なメモ

Memo for Programming.

【Kafka】Apache Kafka ～入門編～

■ はじめに

目次

【１】メッセージ

【２】システム構成

１）Producer (Publisher)

２）Broker

３）Consumer (Subscriber)

補足：Apache zookeeper

【３】論理構造

１）Topic

２）Partition

３）Replica

【４】Partitionの特徴

【５】Kafka API

１）Producer API

２）Consumer API

３）Connect API

４）Streams API （Kafka Streams）

５）Admin API

関連記事