Scala
■ はじめに GW休み明けに、Scalaで、非同期のコードを書きそうなので予習。 目次 【１】Scala での非同期 １）Future ２）scala-async 【２】サンプル 例１：実験コード 例２：実験コード（非同期部分のメソッド化） 【１】Scala での非同期 １）Future << ★…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/27/235703 の続き。 前回は、Apache Kafkaへの送信部分（Producer）を実装したので 今回は、Apache Kafkaへの受信部分（Consumer）を Scala で実装してみる 目次 【１】サンプル 補足： build.sbt…
■ はじめに https://dk521123.hatenablog.com/entry/2023/04/23/235534 https://dk521123.hatenablog.com/entry/2023/04/24/153846 https://dk521123.hatenablog.com/entry/2023/04/26/103421 で、Apache Kafkaについて、取り上げた。 今回は、Apache Kafka…
■ はじめに Spark の FutureAction について、業務上でてきたので、 調べてみた。あんまり情報がないので、随時更新していく、、、 目次 【１】FutureAction に関する記述 【２】サンプル 【１】FutureAction に関する記述 http://mogile.web.fc2.com/spark/…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/24/211033 https://dk521123.hatenablog.com/entry/2023/04/01/002005 https://dk521123.hatenablog.com/entry/2023/04/03/012600 の続き。 今回は、Scala で、AWS SDK for Java を使った Amazon …
■ はじめに 今更だが、Scalaのファイル入出力。 目次 【１】読み込み 例１：一行づつ表示 【２】書き込み 例１：テンプレートファイルを読み込み置換したものをファイル出力 【１】読み込み 例１：一行づつ表示 import scala.io.Source object Hello { def m…
■ はじめに https://dk521123.hatenablog.com/entry/2023/01/25/000000 で「sbt-assembly」を使って、JARファイルの作成をした際に エラーが出たので、対処方法を記載する また、その過程で警告とかの対応方法も分かったのでメモ。 目次 【１】sbt-assembly…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/16/012034 で、ScalaでYAMLファイルを扱ったが、 今回は、JSONについて、調べた。 目次 【０】Scala で JSON 補足：scala.util.parsing.json.JSON 【１】Gson １）インストール ２）サンプル 【２…
https://dk521123.hatenablog.com/entry/2023/03/24/211033 https://dk521123.hatenablog.com/entry/2023/04/01/002005 の続き。 今回は、Scalaで、AWS SDK for Java を使ったSecrets Managerのサンプル集 目次 【０】build.sbt 【１】Secrets Managerをハン…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/24/211033 の続き。 今回は、Scalaで、AWS SDK for Java を使ったS3のサンプル集 目次 【０】公式のサンプル 【１】build.sbt 【２】S3をハンドリングする共通処理 【０】公式のサンプル https://…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/27/001306 https://dk521123.hatenablog.com/entry/2023/03/28/003906 https://dk521123.hatenablog.com/entry/2023/03/29/000014 の続き。 Scala の単体試験で、ScalaTest をベースにやってきた…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/27/001306 https://dk521123.hatenablog.com/entry/2023/03/28/003906 の続き。 今回は、ScalaTest + ScalaCheck (org.scalatestplus) を使って プロパティベーステスト (Property Based Testing;…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/27/001306 の続き。 今回は、Scalaの単体試験する際に ScalaTest を使用した時のTipsについてまとめる 目次 【１】初期処理・後処理 １）BeforeAndAfter ２）BeforeAndAfterAll 【２】一時的テス…
■ はじめに ここ最近、狂ったように、プログラムや調べものをしてきたが とりあえず、最低限やれることが調べたので、後はブラッシュアップさせていきたい、、、 っと思ったのだが、単体試験のことを忘れていたので、調べてみた。 目次 【０】Scalaのテスト…
■ はじめに SparkからSnowflakeへの接続について考える https://dk521123.hatenablog.com/entry/2023/03/19/013833 で、JDBCでもSnowflakeにアクセスすることに触れたが 今回は、ScalaでJDBCドライバからDBにアクセスすることについて触れる 目次 【１】JDBC…
■ はじめに Spark/Scalaの開発環境構築 ～ Windows編 ～ https://dk521123.hatenablog.com/entry/2023/03/20/115450 で、『本当は、Dockerで一発でばーんって作りたい、、、』って 言ったのだが、それを実践してみた 以前やった https://dk521123.hatenablog…
■ はじめに AWS Glue で Scala を使うことになって悪戦苦闘中なのだが Scalaの実装のしにくさとして、 Pythonのように便利な boto3 がある訳ではないので調べてみた。 とりあえず、以下のサービスを利用したい。 ~~~~~ + S3 + Secrets Manager + SES ~~~~~ …
■ はじめに Scala を初めて、SBTについて今まで何となくやっていたが ちゃんと勉強しないとまずいと感じたので、メモ。 目次 【０】環境設定 【１】ビルドツール「sbt」 １）主な機能 ２）sbt の処理の流れ 【２】フォルダ構成 １）build.sbt ２）build.prop…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/16/012034 で YAMLファイルを扱った。ここで作成した 「例２：独自クラスにマッピングする」「例３：別YAML＆リファクタリング」 を、どのクラスでも使えるようにしたい。 そこで、その第一歩とし…
■ はじめに https://dk521123.hatenablog.com/entry/2019/09/18/214814 で、Windows で Spark の実行環境を構築した。 で、最近、AWS Glue4.0になり、Sparkのバージョンもv3.3.0になり かつ、今の仕事で、Scalaを使うことになった。 そこで、今回は、「Windo…
■ はじめに Scala が慣れない、、、 今回は、Scala の 正規表現 (regular expression) について扱う。 正直、めちゃくちゃ、いまいち、、、 Javaの正規表現メソッド使った方がいいかも、、、 目次 【０】正規表現オブジェクト １）メソッド 【１】抽出 【２…
■ はじめに AWS Glue は、3年以上使っていて、その際は、PythonでGlue jobを記述していた。 今、行っている仕事で、Scalaを使ってPoC（Proof of Concept：概念実証） をすることになったので、調べてみた。 別件：Glue4.0 ってゆーかーいつの間にGlue4.0がリ…
■ はじめに Scala で YAMLファイルを扱う方法を扱う 目次 【１】YAML用ライブラリ「org.yaml.snakeyaml.Yaml」 １）設定 ２）API仕様 【２】サンプル 例１：Hello World 例２：独自クラスにマッピングする 例３：別YAML＆リファクタリング 【１】YAML用ライ…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/10/193805 https://dk521123.hatenablog.com/entry/2023/03/12/184331 の続き。 今回は、クラス周辺について扱う。 試す環境 https://scastie.scala-lang.org/CEpZy3v4Taa0MCStp3LCYg 目次 【１】…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/10/193805 https://dk521123.hatenablog.com/entry/2023/03/12/184331 の続き。 今回は、配列やコレクションについて扱う。 試す環境 https://scastie.scala-lang.org/CEpZy3v4Taa0MCStp3LCYg 目…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/10/193805 の続き。 Scalaで開発することになりそうなので 予習してたら、Javaと比べて、結構、変わっていた。 まずは、簡単な文法から整理していく なお、以下のサイトで動作確認しながらやると…
■ はじめに Scala の ファイル名・パスの扱いについて書き溜めていく 【１】ファイル名取得 import java.io._ val targetPath = "s3://your-bucket/hello/world/test.csv" val targetFile = new File(targetPath) val fileName = targetFile.getName() // Fi…
■ はじめに https://dk521123.hatenablog.com/entry/2023/03/01/235100 https://dk521123.hatenablog.com/entry/2023/03/05/235755 で、Apache Flink について、触れたが、 Scalaで書かれていることを触れた。 もし、採用された場合、Scalaで開発することに…
■ はじめに 開発中だが、バグったので整理。 目次 【１】Option型 １）Some ２）None 【２】NULLおよび混同しそうなキーワード １）null ２）None ３）Nothing ４）Nil 【１】Option型 * 値があるかないかを表す型 * 2種類のサブクラスを持っている １）Some…
■ はじめに 今回は、Scala の 日付/日時の扱いについて触れる。 徐々に書き溜めていく、、、 目次 【１】日付/日時フォーマット 【１】日付/日時フォーマット import java.util.Date val date1 = "%tY%
