2023-08-01から1ヶ月間の記事一覧
■ はじめに sbt で 開発用（Local）と本番用（AWS）で切り替えたい場合に 色々と調べていたんだけど、やっとそれっぽい切り替えが可能になったので メモしておく。 なお、参考にしたのは、以下のサイトを組み合わせている https://stackoverflow.com/questio…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/24/002539 で新しく環境構築した際にGithubへのアクセスのところで ハマりまくったのでメモしておく 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】解決案 【１】トラブル概要 冒頭…
■ はじめに 小ネタ。 だけど、調べて、意外と他のサイトでは書いてない点が あったのでメモ。 https://dk521123.hatenablog.com/entry/2023/08/24/002539 で、IntelliJ を Linux/Ubuntu 上にインストールしたが 作業する上でショートカットアイコン的なのが…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/10/034839 で、WSL内に、IntelliJ の環境を作ったが、 Windows Update により環境がぶっ壊れたので VisualBox内の Linux 内に作ることにする （基本、Windows上でも同じ） 目次 【１】注意点 【２…
■ はじめに 小ネタ。 パフォーマンス悪化の原因調査のため 過去のソースで確認することになったので そのやり方をメモ。 【１】手順 Step１：Cloneする * まずは、ローカル環境にソースをCloneする コマンド例 # git clone [URL] git clone https://github.c…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2023/08/01/004207 でやった「sbt run による引数設定の仕方」を分冊。 （見つけづらかったので） 目次 【１】sbt run １）引数を設定するための構文 ２）コマンド例 【２】build.sbt に独自の引…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【１】Flink を…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【１】Flink 実行までの手順 Step１：EMRクラスタを作成 Step２：Flink YARNを開…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMRのFlinkにおいて、 AWS Glue Data Catalog を使用する際の技術事項をメモっておく 目次 【０】注意点 １）AWS EMR の Flink 部分の公式ドキュメントの日本…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【１】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/11/135632 で、AWS EMR 内の EC2 内を Session Manager で入ることをやったが 今回、初めから自分でインフラ部分も設定したので、 その時のノウハウをまとめておく 目次 【１】EMRでSession Manag…
■ はじめに 小ネタ。 現在、ローカル環境で、Flink/Kafka connect/PostgreSQLの Hello worldを行っているのだが、その際のデバッグ方法が分かったので 一旦メモしておく 【１】デバッグ方法 # 以下のREST APIを呼び出す $ curl -s http://localhost:8083/con…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2023/08/24/002539 でやった「sbt run による引数設定の仕方」を分冊。 目次 【１】SDKMAN 【２】インストール １）Linux ｚ）トラブルシュート 【３】各種インストール １）Java ２）sbt 【４】…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/28/220039 で、環境構築したが、 今回は、Flink to PostgreSQLのFlinkコードのサンプルを書く 【０】前提条件 * 以下の関連記事を参考に環境構築していること Apache Flink ～ 環境構築 / Docker …
■ はじめに ローカル環境に、Dockerで Flink -> Kafka/Kafka Connect -> PostgreSQL の環境一式作るのを、コツコツやってきたのだが やっとできた、、、 あと、ついでに、開発用なんで KafkaとPostgreSQLのWeb UIも導入している 目次 【０】Github 【１】サ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/20/025544 の続き。 PostgreSQL を docker compose で作ったが、 やっぱり開発をスムーズにするには Web UI が欲しいなっと 思ったので、調べてみた。 # PostgreSQL といえば、pgAdmin だと思って…
■ はじめに テーブル内のデータをアンロードして テストデータを作るって作業をしていて 大分、久しぶりに、 Snowflakeスクリプトを書いたのだが 仕様とか色々大幅にかかりそうな予感を感じているので Pythonコード化して対応しておく 【１】前提条件 * スト…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で紹介した、Snowflakeのタグ付けについて、 掘り下げてみる 目次 【０】Snowflake のタグ １）公式ドキュメント ２）用途 【１】タグ作成 【２】使用上の注意 【３】タグを付加させる…
■ はじめに 将来的に必要になるであろう Scalaのカバレッジツール （code coverage）について 未来の自分のために調べてみた 目次 【０】Scalaのカバレッジツール １）メモ：採用候補 【１】sbt-jacoco 【２】sbt-scoverage 【３】Cobertura 【４】その他のJ…
■ はじめに WindowsUpdateなどでいきなり、 WSL が起動しなくなった時の対処法をメモ。 目次 【１】WSL2無効化→有効化 【１】WSL2無効化→有効化 https://zenn.dev/karaage0703/articles/e30c9614a55bdb * WSL2をオフって再起動 [1] 検索ボックスに「Windows…
■ はじめに AWS EMR を Terraform で構築する 目次 【１】API １）Resource ２）Module 【２】サンプル 【１】API １）Resource [1] EMR https://registry.terraform.io/providers/figma/aws-4-49-0/latest/docs/resources/emr_cluster [2] EMR Containers c…
■ はじめに VIMについて、色々レクチャーを受けたので それらの事項をメモる。 目次 【１】jarファイルの中身を見る 【１】jarファイルの中身を見る * Jarファイルを解凍せずに、vi で、 jarファイル内のファイル一覧とそのファイル内容を見ることができる …
■ はじめに パフォーマンステストで、システムのトータル処理時間を測定する際に Snowflakeの完了時刻を知る必要がある。 そこで、完了時刻などの統計情報について、分かったことを 少しづつだが、まとめていく 目次 【１】GUIから確認するには 【２】コマン…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/09/000000 で、Scala の Option型をやったが、 今回は、Either型 について扱う。 目次 【１】Either型 １）Left/Rightの使い分け 【２】サンプル 例１：With getOrElse 例２：With foreach 例３：…
# ■ はじめに 小ネタ。 FlinkでParameterTool ってのをしったのでメモ。 目次 【１】ParameterTool 【２】パラメータの取得方法 【３】パラメータの使用方法 【４】sbt run による引数設定の仕方 【５】サンプル 【１】ParameterTool * Flink が用意している…
