■ はじめに https://dk521123.hatenablog.com/entry/2021/11/05/233309 https://dk521123.hatenablog.com/entry/2021/11/07/132014 の続き。 AWS MWAAを使うことになり、 開発環境として、MWAA Local (aws-mwaa-local-runner)を 使うことになるとのことなの…

■ はじめに https://dk521123.hatenablog.com/entry/2019/10/12/075251 からの分冊。 文字列操作について、メモ。 目次 【１】置換 / 除去 １）replace ２）removeprefix / removesuffix (From Python3.9) 【２】分割 【３】連結 【１】置換 / 除去 １）repl…

■ はじめに ローカル環境のKafkaではまったトラブルについて メモっておく 目次 【０】今回の教訓 【１】エラー「DataException: JsonConverter with schemas.enable requires」が発生する 【２】エラー「SQLException: No suitable driver found for ...」…

■ はじめに 業務で、kafka-consumer-groups.sh を使ったので Consumer や Consumer Group について、 徐々にではあるがまとめてみる 目次 【１】Consumer (Subscriber) 【２】Consumer Group 【３】Kafka Command-Line Interface (CLI) Tools １）kafka-cons…

■ はじめに https://dk521123.hatenablog.com/entry/2015/01/26/000000 で、Antにてpatch を当てることを大昔にやったが Linuxコマンドでやることになったので、メモっておく 目次 【１】diffコマンド：差分ファイル作成方法 １）オプション 【２】patchコマ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/01/24/000000 で述べた通り、Scala には、 break / continue が基本使用しない。 そこでどうするかを纏める 目次 【１】break / continue の代替案 １）break の代替案 ２）continue の代替案 【２】…

■ はじめに https://dk521123.hatenablog.com/entry/2020/06/17/173717 https://dk521123.hatenablog.com/entry/2020/07/15/162459 の続き。 Lake Formation + Athena のデータアクセス調査の一環で AWA Athena （アテナ）に関連するAWS CLI を使ったので メ…

■ はじめに ScalaのモジュールをJARファイル化して JAVAしか入っていない環境で実行するってことをやっていて 意外と手間取ったので、メモ。 目次 【１】前提条件 １）sbt 含む Scala 環境 ２）sbtプラグイン「sbt-assembly」 【２】JAR作成 １）作成コマン…

■ はじめに 今回は、Scala で乱数やランダム文字列についてまとめてみる 目次 【１】UUID 例１：java.util.UUID 【２】乱数 例１：scala.util.Random 【１】UUID 例１：java.util.UUID * JavaのUUIDを使う => 結局、これが一番めんどくない => 以下の関連記…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/03/000000 で、Scala の メソッド について扱ったが 今回は、Scala の 関数 について扱う。 目次 【１】関数 (Function) 【２】用語整理 １）無名関数（匿名関数） ２）バインド 【３】メソッドと…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/16/012034 https://dk521123.hatenablog.com/entry/2023/04/04/000733 の続き。 今回は、Scala で TOMLファイルの扱いについてまとめる TOML https://dk521123.hatenablog.com/entry/2023/04/25/1…

■ はじめに クラス図を書くためにUMLetを使い始めたのでメモ 目次 【１】UML Sequence Diagram Online Tool 【２】UMLet 【３】Draw.io 【４】Miro 【１】UML Sequence Diagram Online Tool * 以下のサイトにアクセスするとシーケンス図を作成できる https:/…

■ はじめに Scala の 例外処理について扱う。 基本、Javaに近いが、Scala特有の機能もある。 目次 【１】try / catch / finally 【２】例外クラス定義 【３】Option / Either / Try １）Try 【１】try / catch / finally * Javaと比較して、catch が若干違う…

■ はじめに https://dk521123.hatenablog.com/entry/2023/10/03/212007 の続き。 Flinkによる Lake Formationとの接続を ChatGPT でサンプルコード出してもらったら（） 目次 【１】Table API & SQL １）Table API ２）SQL ３）Catalogs 【２】準備 - 依存ラ…

■ はじめに Flinkによる Lake Formationとの接続を調べる際に DataStream API が候補に挙がったので調べてみた 目次 【１】DataStream API １）公式ドキュメント ２）一般サイト 【２】準備 - 依存ライブラリ - １）sbt 【３】サンプル 例１：Hello World 【…

■ はじめに WSL + Python 時でのトラブルについてまとめた 【１】エラー「bad interpreter」が表示 pip install しようとした際にエラー「bad interpreter」 １）エラー内容 bash: /mnt/c/Users/user/.pyenv/pyenv-win/shims/pip: /bin/sh^M: bad interprete…

■ はじめに 小ネタ。 Linux上でWindowsでいう タスクマネージャーを起動する方法をメモ How to open task manager in Linux? https://candid.technology/linux-task-manager/ Just type... gnome-system-monitor

■ はじめに https://dk521123.hatenablog.com/entry/2013/02/28/005116 で、VirtualBox のインストールを扱ったが 情報が古く又インストールする必要がでてきたので 新しく書き直してみた 【１】構築環境 * OS : Windows11 * VirtualBox : v7.0.12 * Guest O…

■ はじめに https://dk521123.hatenablog.com/entry/2020/04/24/160044 の続き。 今回は、Docker のノウハウについて、書き溜めていく。 目次 【１】コンテナは rootユーザで起動しない １）使用上の注意：Non-Rootユーザの場合、Port1024以上を指定する必要…

■ はじめに エラー内容と原因が全くマッチしない現象にハマりそうになったが、 以下のサイトで助けられたのでメモ。 https://qiita.com/ichihara-development/items/45afcc54aeddfd69bce4 【１】事象 お借りしていたAWS環境を一旦クリーンアップしようとして…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/04/222610 の続き。 今回は、Snowflakeのパフォーマンスのキーとなる 「プルーニング」、「マイクロパーティション」、「スピル」 について扱う 目次 【１】プルーニング（Pruning） １）どうやっ…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/01/000000 https://dk521123.hatenablog.com/entry/2023/09/16/151516 の続き。 今回は、Python / Matplotlib （マット・プロット・リブ）で、 折れ線グラフを表示させる 目次 【１】折れ線 例１…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/01/000000 の続き。 今回は、Python / Matplotlib （マット・プロット・リブ）で、 棒グラフや積み上げ棒グラフを表示させる 目次 【１】棒グラフ 例１：Hello World 例２：複数の棒グラフを横に…

■ はじめに RichParallelSourceFunction について調べてみた 目次 【１】RichParallelSourceFunction １）使用上の注意 ２）サンプル 【１】RichParallelSourceFunction １）使用上の注意 調べた後に気が付いたが、非推奨だった https://nightlies.apache.or…

■ はじめに https://dk521123.hatenablog.com/entry/2020/03/01/000000 の続き。 今回は、Matplotlib に関するTipsを纏める 目次 【１】見た目を変える １）インストール ２）導入例 【２】色を変える 【３】画像ファイルとして保存 【４】注釈/矢印 でグラ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/09/05/161817 において、Mergeでパフォーマンス悪化した際に クエリプロファイルの「JoinFilter」と「JoinKey」とか学んだので 徐々にメモしていく 目次 【１】クエリプロファイル 【２】実行計画 １…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/14/000857 で、Scala の クラスについて扱ったが 今回は、トレイト - Trait について学ぶ cf trait = (人・ものの)特性、特色、特徴 目次 【１】トレイト - Trait １）Java との違い ２）用語整理…

■ はじめに Scala の 部分関数 (PartialFunction) について、学んでいく 目次 【１】部分関数 / PartialFunction １）サンプル 【２】部分関数の合体 - orElseメソッド １）サンプル ２）使用上の注意 【１】部分関数 / PartialFunction * 特定の引数のみ処…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/13/000345 の続き。 Scala を勉強してて、コレクションの操作がちゃんと分かっていないと 話にならなそうなので、基本事項をまとめる 目次 【００】コレクション変換のコツ 【０１】foreach 【０…

■ はじめに Scalaで、yield と聞いて、Java の yield https://dk521123.hatenablog.com/entry/2013/07/26/234707 みたいなものかなっと思ったが全然別物だったのでメモ。 【１】for yield for 文の処理本体の前に yield を付けると 値を返す for 文 を作るこ…