■ はじめに 今更だが、Scala の asInstanceOf / isInstanceOf を扱う。 目次 【１】asInstanceOf 【２】isInstanceOf 【３】サンプル 例１：implicit Class の メソッド 【１】asInstanceOf * Scala の キャスト 【２】isInstanceOf * Scala の データ型判定…

■ はじめに 小ネタ。 開発環境や調査・勉強用で使ったDockerの残骸などを とにかく後先どうでもいいから削除したい場合があり その削除方法を毎回調べるのが面倒なので、メモっておく。 目次 【０】使っていないDockerのクリーン 【１】Cleanup １）Docker c…

■ はじめに https://dk521123.hatenablog.com/entry/2024/07/23/193246 で、sealed trait をやったが、 それを拡張するためのメソッドを追加したく、 イメージとしては、C#の拡張メソッドをScalaでやりたい。 Scala の implicit がやりたいことができそうな…

■ はじめに Scala で 色々なデータ型をサポートしたMapを作りたいと思い 調べていたら、以下が見つかったので、まとめておく。 https://stackoverflow.com/questions/43495047/scala-variable-with-multiple-types 目次 【１】用語整理 １）代数的データ型 (…

■ はじめに 例のCrowdStrikeによるブルースクリーン問題が解決できたので メモ（しておくほどでもないけど、記念に残しておく） 【１】CrowdStrikeによるブルースクリーン問題 * 以下を参照 https://forest.watch.impress.co.jp/docs/news/1609694.html 補足…

■ はじめに https://dk521123.hatenablog.com/entry/2024/07/20/034930 で、 dbt の run とか show とか使ったが dbt CLI （dbt コマンド）として改めてまとめておいた方がよさそうなので 徐々にではあるが、まとめていく。 目次 【０】dbt CLI １）環境設定…

■ はじめに Python から dbt を使う必要がでてきたので、メモ。 目次 【１】環境設定 【２】dbt の Python モジュール １）dbtRunner ２）dbtRunnerResult 【３】サンプル ０）前準備 １）INSERT ２）SELECT 【１】環境設定 * 今回は、以下の構成で行う Item…

■ はじめに Python の 実装で何度か定数を定義する必要があった。 今更ながら、改めて調べてみた。 その結果を、徐々にまとめておく。 目次 【１】Python の 定数 １）サンプル ２）使用上の注意 【２】簡易版：定数用ファイル用意して使う 【３】Readonly …

■ はじめに 小ネタ。 Python で「:=」って出てきて、 これなんだ？ってなったので、メモ。 目次 【１】ウォルラス演算子 (:=) １）補足情報 ２）何故、Walrus（セイウチ）？ 【２】サンプル １）NG: Syntax Error ２）OK: 「:=」を使った場合 【１】ウォルラ…

■ はじめに Flink の Accumulator (アキュムレータ) に関して 徐々にメモっていく 目次 【１】Accumulator １）補足事項 【２】Accumulatorの使い方 【３】REST API １）/jobs/{jobid}/accumulators 【１】Accumulator * 最終的に集約された結果を保持するオ…

■ はじめに https://dk521123.hatenablog.com/entry/2024/07/11/131849 の続き。 今回は、Github Actions の設定について調べてみた 目次 【１】Actions の許可制限 【２】Artifactとログの保持期間 【３】外部コラボレータのアクセス許可 【４】ワークフロ…

■ はじめに Github で設定について、少しづつだけどTipsを追加していく 目次 【０】Github の設定のキモ 【１】Pull-Request １）プルリク後にfeatureブランチを削除 【２】Branches １）ルール作成し、ブランチを保護する 【３】Tags １）使用上の注意 【４…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/08/000000 の続き。 今回は、Scala で、Joda-Time を使うことを扱う。 目次 【１】Joda-Time １）使用上の注意 【２】インストール 【３】基本動作 １）Datetime⇒文字列 ２）文字列⇒Datetime 【４…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/13/000345 https://dk521123.hatenablog.com/entry/2023/09/07/223422 の続き。 前回は、immutable のコレクションを扱ったが 今回は、mutable のコレクションを取り上げる。 きっかけとしては、 …

■ はじめに https://dk521123.hatenablog.com/entry/2024/06/27/220219 で、GitHub Custom Actions を調査していた際に 以下の公式ドキュメントから「GitHub Apps」ってのが 出てきたので、調べてみた => めちゃめちゃ面倒くさい、、、 Github公式ドキュメン…

■ はじめに 前日まで動いてたGithub actions がいきなり動かなくなったが 周りに助けてもらったので、感謝。。。 でも、これ、結構、トラブルになりそうなので、メモ。 目次 【１】現象 【２】エラーメッセージ 【３】発生環境 補足：GitHubホステッドランナ…

■ はじめに デバイス（PC）を故障した際に、新しいPCに乗り換える時に Githubアカウントに関しては、かなり特殊だったので メモと教訓を書いておく。 目次 【１】今回の状況 １）2 要素認証クレデンシャルをなくした際のアカウントの回復 【２】今回の解決案…

■ はじめに https://dk521123.hatenablog.com/entry/2024/06/27/220219 https://dk521123.hatenablog.com/entry/2024/06/28/030619 https://dk521123.hatenablog.com/entry/2024/06/29/021837 で Github Custom Action を一通り使うことができた。 今回は、…

■ はじめに https://dk521123.hatenablog.com/entry/2024/06/27/220219 https://dk521123.hatenablog.com/entry/2024/06/28/030619 の続き。 今回は、Github Custom Action の 複合アクション（composite action） について扱う。 目次 【１】複合アクション…

■ はじめに https://dk521123.hatenablog.com/entry/2024/06/27/220219 の続き。 前回は、Github Custom Action の JavaScript をやったので、 今回は、Docker コンテナーのアクションについて取り上げる 目次 【１】Docker コンテナーのアクション 【２】使…

■ はじめに Githubカスタムアクション (Github Custom Action) を扱う可能性があるので まずは、Hello world的な簡単なものでいいので、 どんな感じになるのかを試してみる 目次 【１】Githubカスタムアクション (Github Custom Action) 【２】アクションの…

■ はじめに 今回は、Terraform で AWS VPC を作成することについて まとめておく。 目次 【１】VPC 【２】Subnet 【３】Security Group 【１】VPC https://registry.terraform.io/providers/hashicorp/aws/latest/docs/resources/vpc 主な項目 Items Explana…

■ はじめに https://dk521123.hatenablog.com/entry/2020/01/23/231827 の続き。 CodePipeline に関する知識を少しづつだがまとめていく 【１】CodePipeline のアクションタイプ https://docs.aws.amazon.com/ja_jp/codepipeline/latest/userguide/reference…

■ はじめに 小ネタ。 https://dk521123.hatenablog.com/entry/2024/05/18/032229 の「案３：条件分岐（真or偽）で切り替える」で 正直どのような文法で切り替えているのか分かってなかったが 色々調べてみて、Github Actions の 三項演算子 だと分かったので…

■ はじめに Python の 単体試験のカバレッジツールを調べてみた 目次 【１】coverage １）インストール ２）使い方 ３）VS Codeプラグイン 【２】pytest-cov １）インストール ２）使い方 ３）VS Codeプラグイン 【１】coverage * unittest の カバレッジツ…

■ はじめに https://dk521123.hatenablog.com/entry/2024/06/13/222403 で、Apache Airflow（MWAA）の単体試験を扱った。 今回は、それをLocalで動かせる環境を構築する 目次 【０】前提条件 【１】構築手順 ０）ディレクトリ構成 １）docker-compose を作成…

■ はじめに https://dk521123.hatenablog.com/entry/2022/04/29/000000 で行った WordPress (MySQL+WordPress)を docker-compose で構築する 以下の本 および 公式ドキュメントのクィックスタートを 参考にしている。 https://docs.docker.jp/compose/wordpr…

■ はじめに Airflow の単体試験をすることになりそうなので予習。 目次 【１】Airflow の単体試験 １）Airflow's Best Practices ２）テスティングフレームワークの選定 【２】Airflowのテストモード １）設定方法１：環境変数 UNIT_TEST_MODE に指定 ２）設…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/31/002830 で、Java由来の Mockito を触ったが 今回は、ScalaTest + ScalaMock を触ってみる。 目次 【１】ScalaMock 【２】インストール 【３】使用上の注意 １）final / private メソッド・クラ…

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/27/001306 https://dk521123.hatenablog.com/entry/2023/03/28/003906 の続き。 今回は、Scalaの単体試験する際に ScalaTest を使用した時のTipsについてまとめる 目次 【１】初期処理・後処理 １…