2023-04-01から1ヶ月間の記事一覧
■ はじめに GW休み明けに、Scalaで、非同期のコードを書きそうなので予習。 目次 【１】Scala での非同期 １）Future ２）scala-async 【２】サンプル 例１：実験コード 例２：実験コード（非同期部分のメソッド化） 【１】Scala での非同期 １）Future << ★…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/26/103421 https://dk521123.hatenablog.com/entry/2023/04/27/235703 https://dk521123.hatenablog.com/entry/2023/04/28/014737 の続…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/27/235703 の続き。 前回は、Apache Kafkaへの送信部分（Producer）を実装したので 今回は、Apache Kafkaへの受信部分（Consumer）を Scala で実装してみる 目次 【１】サンプル 補足： build.sbt…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Apache Kafkaについて、取り上げた。 今回は、Apache Kafka…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 の続き。 前回・前々回で、いきなり、Apache Kafka環境を構築したが、 もともとは、仕事で、ストリーミングデータを扱うもの…
■ はじめに JSON がきて、YAML がきて、もーこれで終わりだと思ったら 今度、TOML がきた。 ので、メモする。 目次 【１】TOML 【２】公式ドキュメント 【３】基本構造 【４】サンプル 【５】ツール：TOML to JSON 【１】TOML * TOML = "Tom's Obvious, Mini…
■ はじめに Apache Kafka ～ 環境構築 / Windows編 ～ https://dk521123.hatenablog.com/entry/2023/04/23/235534 で、Docker compose 版をいつか書こうと思ってたけど 意外と簡単だったので、 今回、Apache KafkaのDocker composeでの構築手順をまとめる 目…
■ はじめに 仕事で、Apache Kafka が都度都度でてきており、 色々と調べている。 今回は、環境構築をメモしておく。 Apache Kafka ～ 環境構築 / Linux編 ～ https://dk521123.hatenablog.com/entry/2024/02/05/153202 目次 【１】構築手順 - 通常版 ０）前…
■ はじめに 以前、仕事で、プログラム言語の話になって、 Go言語が次にやりたいって話をしたところ、 Rustの方がいいのでは？的な話になったので、 気になって本を借りてみたら、かなり良さそうなのでメモ。 （本当は、仕事で使う Scala を勉強しないといけ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 で、ローカル上にて、Apache Kafka の構築を行ったが、 今回は、Amazon MSK (Managed Streaming for apache Kafka)って、 AW…
■ はじめに 小ネタ。 エラー「AlreadyExistsException: Workflow with name 'xxx-xxxx' already Exists」 が出たので、一つの解決案として、 「特定リソースのみデプロイする」ってのが あったので、調査。 目次 【１】トラブル概要 １）エラー内容 ２）原因…
■ はじめに https://dk521123.hatenablog.com/entry/2023/02/26/000000 で作ったテストデータファイルを作成する処理で パフォーマンステスト用に大容量のデータ行で作りたい。 ファイルは複数、別の種類もあるので、非同期で作って なるべく時間を節約した…
■ はじめに Spark の FutureAction について、業務上でてきたので、 調べてみた。あんまり情報がないので、随時更新していく、、、 目次 【１】FutureAction に関する記述 【２】サンプル 【１】FutureAction に関する記述 http://mogile.web.fc2.com/spark/…
■ はじめに Snowflake の タスク（Task） に調べてみた 目次 【１】タスク（Task） 【２】使用上の注意 【３】SQL文 １）CREATE TASK ２）ALTER TASK ３）SHOW TASKS 【４】サンプル 例１：Hello world 【１】タスク（Task） * Snowflakeにおいて、以下を実…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/24/211033 https://dk521123.hatenablog.com/entry/2023/04/01/002005 https://dk521123.hatenablog.com/entry/2023/04/03/012600 の続き。 今回は、Scala で、AWS SDK for Java を使った Amazon …
■ はじめに 仕事で、Snowflake の Snowpipe を試しそうなので 予習しておく 目次 【１】Snowpipe １）公式ドキュメント 【２】SQL文 １）CREATE PIPE ２）SHOW PIPES 【３】使用上の注意 １）推奨ロードファイルサイズ ２）日時関数の使用 ３）ファイルの削…
■ はじめに Snowflakeでトラブったので、 自戒の意味を込めてもメモ、、、 目次 【１】トラブル内容 １）エラーまでのSQL文 【２】エラー内容 【３】原因 【４】解決案 【５】Tips １）SHOW GRANTS ２）GRANT 【１】トラブル内容 テーブルの普及作業でゴミが…
■ はじめに https://dk521123.hatenablog.com/entry/2022/05/23/000000 の続き。 https://dk521123.hatenablog.com/entry/2023/04/09/104204 で、ローカル環境からTerraform で AWS環境にデプロイする方法を書いたが、 デプロイ対象によっては権限上、Switch…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/09/104204 https://dk521123.hatenablog.com/entry/2023/04/11/152801 https://dk521123.hatenablog.com/entry/2023/04/08/220411 の続き。 今回は、IAM Role を作成することになったので、メモ。…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/05/000224 https://dk521123.hatenablog.com/entry/2023/04/09/104204 https://dk521123.hatenablog.com/entry/2023/04/08/220411 の続き。 今回は、Terraform で AWS Secrets Manager について扱…
■ はじめに Terraform は、基本的には、 AWSなどのクラウド環境作成するためのツールだとは思うが Docker でも利用できるので、学習用に利用する。 目次 【１】前提条件 【２】サンプル 例１：Dockerイメージ「Nginx」からインストール 補足：警告「The attr…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/05/000224 https://dk521123.hatenablog.com/entry/2023/04/08/220411 の続き。 前回は、AWS Glueを扱ったが、 Glue JobのスクリプトやJarなどのファイルを S3上に置く必要がでてきたので、 Terra…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/05/000224 の続き。 今回は、AWS Glue に関して、少しずつだが、調べた内容を纏めていく 目次 【１】公式ドキュメント 【２】サンプル 例１：1Workflow-1Job-1StartTrigger 例２：Scheduled Trigg…
■ はじめに 今更だが、Scalaのファイル入出力。 目次 【１】読み込み 例１：一行づつ表示 【２】書き込み 例１：テンプレートファイルを読み込み置換したものをファイル出力 【１】読み込み 例１：一行づつ表示 import scala.io.Source object Hello { def m…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/25/000000 で「sbt-assembly」を使って、JARファイルの作成をした際に エラーが出たので、対処方法を記載する また、その過程で警告とかの対応方法も分かったのでメモ。 目次 【１】sbt-assembly…
■ はじめに https://dk521123.hatenablog.com/entry/2019/12/09/222057 の続き。 今、行っているプロジェクトでは、 インフラは、Terraformを使うことになったそうなので これを機に覚えるとする、、、（前々から気になっていた技術だし） 中期的な目標とし…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/16/012034 で、ScalaでYAMLファイルを扱ったが、 今回は、JSONについて、調べた。 目次 【０】Scala で JSON 補足：scala.util.parsing.json.JSON 【１】Gson １）インストール ２）サンプル 【２…
https://dk521123.hatenablog.com/entry/2023/03/24/211033 https://dk521123.hatenablog.com/entry/2023/04/01/002005 の続き。 今回は、Scalaで、AWS SDK for Java を使ったSecrets Managerのサンプル集 目次 【０】build.sbt 【１】Secrets Managerをハン…
■ はじめに 小ネタ。（日曜だし） https://dk521123.hatenablog.com/entry/2023/03/25/021432 で、WSL上にAWS用の開発環境を構築したが これをローカル環境のVS Codeから簡単にアクセスする方法として VS Codeプラグイン「WSL (Remote-WSL)」ってゆーのがあ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/24/211033 の続き。 今回は、Scalaで、AWS SDK for Java を使ったS3のサンプル集 目次 【０】公式のサンプル 【１】build.sbt 【２】S3をハンドリングする共通処理 【０】公式のサンプル https://…
