Kafka

【Kafka】Apache Kafka ~ 環境構築 / Linux編 ~

■ はじめに Apache Kafka ~ 環境構築 / Windows編 ~ https://dk521123.hatenablog.com/entry/2023/04/23/235534 のLinux版。 目次 【1】構築手順 - 通常版 0)前提条件 1)Kafka のインストール 【2】モジュール起動 1)zookeeper起動 2)Kafka brok…

【Kafka】Kafka Connect ~ DB/Schema切替 ~

■ はじめに 小ネタ。 Apache KafkaでDB/Schemaを切り替える方法についてメモ。 【1】KafkaでDB/Schemaを切り替えるには * Topic を [DB].[Schema].[Table] のようにする 【2】影響する点 1)Kafkaの設定 topics # topics=db_name # 修正前 # topics=[DB].…

【Kafka】kafka-python ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/10/22/220717 でKafka / Kafka connect を設定したので 簡易的に、kafka-python を使って、Hello worldをやってみる 目次 【1】前提条件 【2】環境設定 【3】ドキュメント 【4】サンプル 例1:P…

【Kafka】Apache Kafka ~ Remote debug ~

■ はじめに 小ネタ(本当にメモ)。 Kafka の リモートデバッグについて触れたので、メモ。 【1】環境変数 https://github.com/ppatierno/kafka-connect-amqp/blob/master/README.md#debugging export KAFKA_DEBUG=y export DEBUG_SUSPEND_FLAG=y https://g…

【Kafka】Kafka Connect ~ 環境構築編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、Kafkaの環境構築を行い https://dk521123.hatenablog.com/entry/2023/08/11/220921 で、Kafka Connectの環境構築をDocke…

【トラブル】【Kafka】ローカル環境のKafkaでのトラブル

■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【0】今回の教訓 【1】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【2】エラー「SQLException: No suitable driver found for ...」…

【Kafka】Apache Kafka ~ Consumer ~

■ はじめに 業務で、kafka-consumer-groups.sh を使ったので Consumer や Consumer Group について、 徐々にではあるがまとめてみる 目次 【1】Consumer (Subscriber) 【2】Consumer Group 【3】Kafka Command-Line Interface (CLI) Tools 1)kafka-cons…

【Kafka】Kafka Connect での デバッグ方法

■ はじめに 小ネタ。 現在、ローカル環境で、Flink/Kafka connect/PostgreSQLの Hello worldを行っているのだが、その際のデバッグ方法が分かったので 一旦メモしておく 【1】デバッグ方法 # 以下のREST APIを呼び出す $ curl -s http://localhost:8083/con…

【Kafka】Kafka Connect ~ 環境構築 / Docker compose編 ~

■ はじめに ローカル環境に、Dockerで Flink -> Kafka/Kafka Connect -> PostgreSQL の環境一式作るのを、コツコツやってきたのだが やっとできた、、、 あと、ついでに、開発用なんで KafkaとPostgreSQLのWeb UIも導入している 目次 【0】Github 【1】サ…

【Kafka】Apache Kafka ~ Web UI / kafka-ui編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/07/30/174239 の続き。 Apache Kafka の Web UI である kafka-ui ってのも学んだので メモしておく。 目次 【1】Kafdrop 【2】できること 【3】サンプル 1)動作確認 【1】Kafdrop * Kafka 用の…

【Kafka】Apache Kafka ~ Web UI / Kafdrop編 ~

■ はじめに Apache Kafka の Web UI である Kafdrop を学んだので メモしておく。 目次 【0】KafkaのWeb UI 【1】Kafdrop 【2】できること 【3】サンプル 1)動作確認 【4】おまけ:Kafka Topics UI 1)サンプル 2)動作確認 【0】KafkaのWeb UI [1…

【Kafka】Docker compose で Kafka構築時に Topic を作るには

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/24/153846 において、Docker compose で Kafka の開発環境構築を行ったが どうせなら、Topic 作成とか環境の初期処理を行えるようにしたいので 調べてみた。 目次 【1】Docker compose で Kafka…

【Kafka】Kafkaコネクタ ~ Kafka用Snowflakeコネクタ ~

■ はじめに 業務で、 Kafka用Snowflakeコネクタ を試すことになったのでメモ。 徐々に書き足していく、、、 目次 【1】Kafkaコネクタ 【2】仕様 【3】設定 1)Kafkaコネクタの種類 2)設定手順 【4】Kafka構成ファイル 1)構成ファイル例 2)Kafka構…

【Terraform】AWS MSK Connect 内の 接続情報を設定を考える

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 https://dk521123.hatenablog.com/entry/2023/05/25/000000 の続き。 今回は、AWS MSK Connect の 設定部分、特に、機密に関わるDBなどの接続情報を Secret Manager から取得することを…

【AWS】Amazon MSK ~ AWS CLI ~

■ はじめに Amazon MSK Connect (Amazon Managed Streaming for Apache Kafka) の REST API について、調べていたのだが、 結局は、AWS CLIの方がいいといったこともあるので、そこらへんをメモ。 目次 【1】Amazon MSK の AWS CLI 1)MSK 2)MSK Conne…

【Kafka】Kafka Connect ~ Connector 構成プロパティ ~

■ はじめに 今日ってゆーかー昨日、 Kafka Connect の Connector 構成プロパティの指定がミスってて 2~3日ハマって迷惑かけたので、メモ。 目次 【1】接続 1)connection.url 2)connection.user 3)connection.password 4)connection.attempts 5)d…

【Kafka】Kafka Connect ~ Rest API ~

■ はじめに Kafka Connect で 期待した通りのパフォーマンスがでないので どう調査するのだろうって調べてた過程で、Rest API を見つけたので メモしておく。 目次 【1】Kafka connect の Rest API 一覧 1)おさらい:curlコマンド 【2】コネクタ 1)コ…

【Kafka】Apache Kafka ~ 設定値 ~

■ はじめに AWS MSK(Amazon Managed Streaming for Apache Kafka) を使ったシステムのパフォーマンステストを行っているが てんでダメダメだった。 そこで、Kafkaに関するパフォーマンスに関わるプロパティなどを 調べてみたので、徐々にメモ。 (物凄い種…

【Terraform】Terraform ~ AWS MSK Connect ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 から分冊。 今回は、AWS MSK Connect をTerraform で作成する MSK = Managed Streaming for apache Kafka Amazon MSK ~ 入門編 ~ https://dk521123.hatenablog.com/entry/2023/04/21/…

【AWS】Amazon MSK ~ 基本編 / Connector ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/05/14/122215 で、AWS環境に Amazon MSK(Managed Streaming for apache Kafka)の Cluster および Connector を構築することが…

【Kafka】Apache Kafka ~ Kafkaコマンド ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 などで使ったKafkaのコマンドについて、徐々にまとめていく 目次 【0】コマンド一覧 【1】Topic 1)Topic作成 2)Topic一覧表示 3)Topic詳細情報表示 【2】Producer 1)TOPIC …

【Kafka】Apache Kafka ~ Strimzi ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/21/000000 の際に、Apache Kafka を AWS 上で環境構築する際に 「Amazon EKS(KubernetesのマネージドAWSサービス)」をあげたが Kubernetes上でApache Kafka を構築するのに「Strimzi」ってのが …

【Kafka】Kafka Connect ~ 基本編 / PostgreSQL ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/29/185133 の続き。 今回は、Kafka connect + PostgreSQLで試してみる。 目次 【1】今回やること 【2】実行前の下準備 1)JDBCプラグイン設定 2)zookeeper起動 3)Kafka broker起動 4)ト…

【Kafka】Apache Kafka ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 の続き。 今回は、Apache Kafkaの基本となる構成要素などについ…

【Kafka】Kafka Connect ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/26/103421 https://dk521123.hatenablog.com/entry/2023/04/27/235703 https://dk521123.hatenablog.com/entry/2023/04/28/014737 の続…

【Scala】Scala ~ Apache Kafka / Consumer ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/27/235703 の続き。 前回は、Apache Kafkaへの送信部分(Producer)を実装したので 今回は、Apache Kafkaへの受信部分(Consumer)を Scala で実装してみる 目次 【1】サンプル 補足: build.sbt…

【Scala】Scala ~ Apache Kafka / Producer ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Apache Kafkaについて、取り上げた。 今回は、Apache Kafka…

【Kafka】Apache Kafka ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 の続き。 前回・前々回で、いきなり、Apache Kafka環境を構築したが、 もともとは、仕事で、ストリーミングデータを扱うもの…

【Kafka】Apache Kafka ~ 環境構築 / Docker compose編 ~

■ はじめに Apache Kafka ~ 環境構築 / Windows編 ~ https://dk521123.hatenablog.com/entry/2023/04/23/235534 で、Docker compose 版をいつか書こうと思ってたけど 意外と簡単だったので、 今回、Apache KafkaのDocker composeでの構築手順をまとめる 目…

【Kafka】Apache Kafka ~ 環境構築 / Windows編 ~

■ はじめに 仕事で、Apache Kafka が都度都度でてきており、 色々と調べている。 今回は、環境構築をメモしておく。 Apache Kafka ~ 環境構築 / Linux編 ~ https://dk521123.hatenablog.com/entry/2024/02/05/153202 目次 【1】構築手順 - 通常版 0)前…