■ はじめに

で、Kafkaの有用性を述べたが
仕事で、ストリーミング処理のメリデメなどを
纏めることになった。

そこで、ストリーミング処理と対比される処理として
バッチ処理と比較して、その優位性をまとめてみる。

以下のサイトがドンピシャなので、参考にしながらまとめる。

【１】用語整理

* リアルタイムでデータを収集して、
　その場で変換、分析し、配信するデータ処理方法

* 一定期間データを集め、複数処理をまとめて（＝バッチ）
　一括処理を行う方式

cf. Batch = 一束、一群、一団 => まとまり

* バッチ処理とリアルタイム処理の中間的な位置づけ
 => 中身は結局、バッチ処理だが、その頻度を高め、半リアルタイム化を実現

#	Items	Batch Data Processing	Streaming Data Processing
1	Hardware	大規模なストレージやプロセッサが必要	データパケットを処理に必要なサイズ以下のストレージ量でいい
2	Performance	レイテンシー（※１）は処理によるが、分～日単位で掛かる	レイテンシーを低く抑える(即時)
2	Data set	巨大なバッチデータ	連続したストリームデータ
3	Analysis	静的な情報を一定間隔で処理	移動中の新しいデータを逐次処理可能

※１：レイテンシー (latency) とは？

* ユーザーのアクションとその後の応答の間に経過する時間
 => 転送要求を出してからデータが送られてくるまでの通信遅延時間

バッチ処理として、Glue
ストリーミング処理の代表として、Flink
を取り上げて比較してみた

[1] Easy to use

* Serverless のため、運用が楽
* Auto Generation 機能とかもあり、比較的簡単にETL処理を行える

[1] Hybrid batch/streaming

* ストリーミング処理だけでなくバッチ処理にも対応

[2] Open source

* オープンソースでAWS依存にならずに済む