Apache Flink
■ はじめに https://dk521123.hatenablog.com/entry/2023/10/03/212007 の続き。 Flinkによる Lake Formationとの接続を ChatGPT でサンプルコード出してもらったら（） 目次 【１】Table API & SQL １）Table API ２）SQL ３）Catalogs 【２】準備 - 依存ラ…
■ はじめに Flinkによる Lake Formationとの接続を調べる際に DataStream API が候補に挙がったので調べてみた 目次 【１】DataStream API １）公式ドキュメント ２）一般サイト 【２】準備 - 依存ライブラリ - １）sbt 【３】サンプル 例１：Hello World 【…
■ はじめに RichParallelSourceFunction について調べてみた 目次 【１】RichParallelSourceFunction １）使用上の注意 ２）サンプル 【１】RichParallelSourceFunction １）使用上の注意 調べた後に気が付いたが、非推奨だった https://nightlies.apache.or…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【１】Flink を…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【１】Flink 実行までの手順 Step１：EMRクラスタを作成 Step２：Flink YARNを開…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMRのFlinkにおいて、 AWS Glue Data Catalog を使用する際の技術事項をメモっておく 目次 【０】注意点 １）AWS EMR の Flink 部分の公式ドキュメントの日本…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/28/220039 で、環境構築したが、 今回は、Flink to PostgreSQLのFlinkコードのサンプルを書く 【０】前提条件 * 以下の関連記事を参考に環境構築していること Apache Flink ～ 環境構築 / Docker …
# ■ はじめに 小ネタ。 FlinkでParameterTool ってのをしったのでメモ。 目次 【１】ParameterTool 【２】パラメータの取得方法 【３】パラメータの使用方法 【４】sbt run による引数設定の仕方 【５】サンプル 【１】ParameterTool * Flink が用意している…
■ はじめに Apache Flink をやっているのだが、 ほとんど情報がない。 ましてや、ちょっとハードルをあげる、 例えば、Flinkで処理したデータをDBに入れる ってなると、ほぼほぼ皆無な状況。 そこで、今回は、そんな試行錯誤した Apache Flink + PostgreSQL …
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/01/235100 https://dk521123.hatenablog.com/entry/2023/05/29/000000 の続き。 今回は、Apache Flink の ベースとなるAPIやサンプルをまとめる。 目次 【１】Flink ソース外観 １）外観 【２】主…
■ はじめに EMR 上で Flink を動かす可能性がでてきたので 徐々にメモっておく 目次 【１】AWS環境でFlinkを実行するには 【２】ドキュメント 【３】バージョンの関連性 【４】ログの場所 【１】AWS環境でFlinkを実行するには * AWS環境でFlinkを実行する際…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Kafkaの有用性を述べたが 仕事で、ストリーミング処理のメリデメなどを 纏めることになった。 そこで、ストリーミング処理と対比される処理として バッチ処理と比較して、その優位…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/05/235755 https://dk521123.hatenablog.com/entry/2023/05/09/235256 https://dk521123.hatenablog.com/entry/2023/03/01/235100 の続き。 Apache Flink の Hello world をやってみる。 目次 【…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/05/235755 で、Windowsのローカル上に、Apache Flink の環境構築したのだが Kubernetes (Amazon EKS) で構築することになったので 予習として、自分のローカル上に構築してみる。 目次 【１】Kube…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/01/235100 の続き。 今回は、Apache Flinkの開発環境を整える 目次 【１】サポートOS 【２】Windows での環境構築について 失敗談１：.bat での実行 失敗談２：Cygwin での実行 【３】環境構築手…
■ はじめに Apache Flink (アパッチフリンク) ってのが 話題にあがったので、調べてみた。 目次 【０】Top Big Data frameworks in 2023 【１】Apache Flink ０）公式サイト １）ライセンス ２）最新バージョン ３）プログラム言語 【２】その他の特徴 １）E…
