■ はじめに

https://dk521123.hatenablog.com/entry/2023/04/23/235534
https://dk521123.hatenablog.com/entry/2023/04/24/153846

の続き。

　前回・前々回で、いきなり、Apache Kafka環境を構築したが、
もともとは、仕事で、ストリーミングデータを扱うものなのかなー
ってことだけで、全体構成など分かっていない部分が多く、
ざっくりでも分かっていないと、仕事にならなくなりそうなので
Apache Kafkaについて、調べてみた。

【１】Kafka
　１）解説動画
　２）Github
【２】Kafka を使うことによる利点
【３】用途（Use case）
　１）実績
【４】特徴
　１）スケールアウト
　２）レプリケーション
　３）メッセージの送達保障
　４）過去のデータを遡って再取得

【１】Kafka

* LinkedIn社で開発された分散ストリーミングプロットフォーム
　（A distributed streaming platform）
* JavaとScalaで実装

https://kafka.apache.org/

もっと簡単に言うと

* システムとシステム間でストリームデータの中継役

１）解説動画

* さくっと知りたい場合、倍速でもいいので
　以下をみておくといいかも。

https://youtu.be/84DAkzetyRk?t=26
https://youtu.be/FJZeaY3n5CY?t=58

２）Github

* Kafka のコード

https://github.com/apache/kafka/blob/2.8/core/src/main/scala/kafka/Kafka.scala

【２】Kafka を使うことによる利点

* メッセージを中央集中管理することでシステムを疎結合に保つ（※１）
* データ流量の急激な増加によるシステム負荷を抑制

※１：疎結合 (loose coupling)

* 細分化された個々のコンポーネント同士の結びつきが比較的緩やかで、
　独立性が強い状態のこと

【３】用途（Use case）

* 複数コンポーネントで形成されているシステムであれば
　何でも使えるっちゃー使える
 => 金融、流通などで利用

１）実績

https://kafka.apache.org/powered-by

より抜粋

* LinkeIn ... まーもともと作っているし
* Twitter
* Netflix
* Uber
 => Paymentシステムでも使用

https://www.youtube.com/watch?v=5TD8m7w1xE0&t=441s

日本の企業だと...

* Line

【４】特徴

https://youtu.be/84DAkzetyRk?t=436

より抜粋

１）スケールアウト
２）レプリケーション
３）メッセージの送達保障
４）過去のデータを遡って再取得

１）スケールアウト

* サーバ台数を増やして、全体の性能を上げることが可能

２）レプリケーション

* 耐障害に備えて、データを複数サーバに複製される

３）メッセージの送達保障

* メッセージが正しく送受信したかを確認できる

補足：配信品質（Quality of Sevice；QoS）

#	QoS Type	Japanese	Memo
1	At Least Once	最低1回は配信	Kafkaのデフォルトの配信品質
2	At Most Once	最大1回の配信
3	Exactly Once	正確に1回の配信	Kafkaのトランザクション機能により実現

４）過去のデータを遡って再取得

* データの再処理が必要な場合、
　過去を遡って再取得、再処理可能

参考文献

https://www.imagazine.co.jp/apache-kafka-01/
https://qiita.com/sigmalist/items/5a26ab519cbdf1e07af3

プログラムの超個人的なメモ

Memo for Programming.

【Kafka】Apache Kafka ～基礎知識編～

■ はじめに

目次

【１】Kafka

１）解説動画

２）Github

【２】Kafka を使うことによる利点

【３】用途（Use case）

１）実績

【４】特徴

１）スケールアウト

２）レプリケーション

３）メッセージの送達保障

４）過去のデータを遡って再取得

参考文献

関連記事