2023-08-01から1ヶ月間の記事一覧
■ はじめに sbt で 開発用（Local）と本番用（AWS）で切り替えたい場合に 色々と調べていたんだけど、やっとそれっぽい切り替えが可能になったので メモしておく。 なお、参考にしたのは、以下のサイトを組み合わせている https://stackoverflow.com/questio…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/24/002539 で新しく環境構築した際にGithubへのアクセスのところで ハマりまくったのでメモしておく 目次 【１】トラブル概要 【２】エラー内容 【３】原因 【４】解決案 【１】トラブル概要 冒頭…
■ はじめに 小ネタ。 だけど、調べて、意外と他のサイトでは書いてない点が あったのでメモ。 https://dk521123.hatenablog.com/entry/2023/08/24/002539 で、IntelliJ を Linux/Ubuntu 上にインストールしたが 作業する上でショートカットアイコン的なのが…
■ はじめに https://dk521123.hatenablog.com/entry/2023/06/10/034839 で、WSL内に、IntelliJ の環境を作ったが、 Windows Update により環境がぶっ壊れたので VisualBox内の Linux 内に作ることにする （基本、Windows上でも同じ） 目次 【１】注意点 【２…
■ はじめに 小ネタ。 パフォーマンス悪化の原因調査のため 過去のソースで確認することになったので そのやり方をメモ。 【１】手順 Step１：Cloneする * まずは、ローカル環境にソースをCloneする コマンド例 # git clone [URL] git clone https://github.c…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2023/08/01/004207 でやった「sbt run による引数設定の仕方」を分冊。 （見つけづらかったので） 目次 【１】sbt run １）引数を設定するための構文 ２）コマンド例 【２】build.sbt に独自の引…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 https://dk521123.hatenablog.com/entry/2023/08/19/025641 の続き。 今回は、Amazon EMR 上で Flink を動かすうえで学んだことを 徐々にではあるが、まとめておく 目次 【１】Flink を…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMR 上で、Flink を実行する際に 結構ハマりまくったので、メモっておく 目次 【１】Flink 実行までの手順 Step１：EMRクラスタを作成 Step２：Flink YARNを開…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/16/000000 の続き。 今回は、Amazon EMRのFlinkにおいて、 AWS Glue Data Catalog を使用する際の技術事項をメモっておく 目次 【０】注意点 １）AWS EMR の Flink 部分の公式ドキュメントの日本…
■ はじめに AWS EMR で大分ハマったが、ようやく原因がわかったので そのことをメモる。 【１】現象 https://dk521123.hatenablog.com/entry/2023/08/16/201948 で、AWS EMRのBootstrapで、S3 bucketへのアクセスをする際に 以下「エラー内容」が表示した。 …
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/11/135632 で、AWS EMR 内の EC2 内を Session Manager で入ることをやったが 今回、初めから自分でインフラ部分も設定したので、 その時のノウハウをまとめておく 目次 【１】EMRでSession Manag…
■ はじめに 小ネタ。 現在、ローカル環境で、Flink/Kafka connect/PostgreSQLの Hello worldを行っているのだが、その際のデバッグ方法が分かったので 一旦メモしておく 【１】デバッグ方法 # 以下のREST APIを呼び出す $ curl -s http://localhost:8083/con…
■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2023/08/24/002539 でやった「sbt run による引数設定の仕方」を分冊。 目次 【１】SDKMAN 【２】インストール １）Linux ｚ）トラブルシュート 【３】各種インストール １）Java ２）sbt 【４】…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/28/220039 で、環境構築したが、 今回は、Flink to PostgreSQLのFlinkコードのサンプルを書く 【０】前提条件 * 以下の関連記事を参考に環境構築していること Apache Flink ～ 環境構築 / Docker …
■ はじめに ローカル環境に、Dockerで Flink -> Kafka/Kafka Connect -> PostgreSQL の環境一式作るのを、コツコツやってきたのだが やっとできた、、、 あと、ついでに、開発用なんで KafkaとPostgreSQLのWeb UIも導入している 目次 【０】Github 【１】サ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/07/20/025544 の続き。 PostgreSQL を docker compose で作ったが、 やっぱり開発をスムーズにするには Web UI が欲しいなっと 思ったので、調べてみた。 # PostgreSQL といえば、pgAdmin だと思って…
■ はじめに テーブル内のデータをアンロードして テストデータを作るって作業をしていて 大分、久しぶりに、 Snowflakeスクリプトを書いたのだが 仕様とか色々大幅にかかりそうな予感を感じているので Pythonコード化して対応しておく 【１】前提条件 * スト…
■ はじめに https://dk521123.hatenablog.com/entry/2023/08/03/000817 で紹介した、Snowflakeのタグ付けについて、 掘り下げてみる 目次 【０】Snowflake のタグ １）公式ドキュメント ２）用途 【１】タグ作成 【２】使用上の注意 【３】タグを付加させる…
■ はじめに 将来的に必要になるであろう Scalaのカバレッジツール （code coverage）について 未来の自分のために調べてみた 目次 【０】Scalaのカバレッジツール １）メモ：採用候補 【１】sbt-jacoco 【２】sbt-scoverage 【３】Cobertura 【４】その他のJ…
■ はじめに WindowsUpdateなどでいきなり、 WSL が起動しなくなった時の対処法をメモ。 目次 【１】WSL2無効化→有効化 【１】WSL2無効化→有効化 https://zenn.dev/karaage0703/articles/e30c9614a55bdb * WSL2をオフって再起動 [1] 検索ボックスに「Windows…
■ はじめに AWS EMR を Terraform で構築する 目次 【１】API １）Resource ２）Module 【２】サンプル 【１】API １）Resource [1] EMR https://registry.terraform.io/providers/figma/aws-4-49-0/latest/docs/resources/emr_cluster [2] EMR Containers c…
■ はじめに VIMについて、色々レクチャーを受けたので それらの事項をメモる。 目次 【１】コマンドモード 例１：Pythonを実行する 例２：ファイル内をソートする 例３：差分をとる 例４：重複削除 【１】コマンドモード 項目 説明 コマンドモード 「:」or …
■ はじめに パフォーマンステストで、システムのトータル処理時間を測定する際に Snowflakeの完了時刻を知る必要がある。 そこで、完了時刻などの統計情報について、分かったことを 少しづつだが、まとめていく 目次 【１】GUIから確認するには 【２】コマン…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/09/000000 で、Scala の Option型をやったが、 今回は、Either型 について扱う。 目次 【１】Either型 １）Left/Rightの使い分け 【２】サンプル 例１：With getOrElse 例２：With foreach 例３：…
# ■ はじめに 小ネタ。 FlinkでParameterTool ってのをしったのでメモ。 目次 【１】ParameterTool 【２】パラメータの取得方法 【３】パラメータの使用方法 【４】sbt run による引数設定の仕方 【５】サンプル 【１】ParameterTool * Flink が用意している…
