2023-06-01から1ヶ月間の記事一覧

【dbt】dbt ~ 基礎知識編 ~

dbt

■ はじめに dbt の良さとか、何ができるかってのを徐々にだがメモしていく 目次 【1】dbt 【2】サポートデータプラットフォーム 【3】利点 1)環境の切替が容易 2)シンプルな実装が可能 3)ドキュメント生成 4)テストの自動化 【4】動画 【1】dbt…

【フリーソフト】ER図生成ツール ~ SchemaSpy ~

■ はじめに ER図を作成してほしいって要望があがったので 調べてみたら、以前、業務で使っている方がいたので 調べてみた。 感想としては、Jarを叩くだけなので、簡単に導入できるので 英語に抵抗がなければいいかも。 PostgreSQL/Redshift なら、pg_dump / …

【Scala】Scala ~ Logging / SLF4J ~

■ はじめに Apache Flink でのロギングを調べていたので そこら辺の周辺の知識を纏めておく 目次 【1】SLF4J 補足:Facade (ファサード) 【2】Hello world 1)sbt 2)サンプル 【3】SLF4J + Log4j 2 1)sbt 2)設定ファイル 3)サンプル 4)出力例 …

【DOT】Python で d3-graphviz を使ってアニメーション表示ツールを作る

■ はじめに 仕事でやりたいことが全く手が付けられないので 超個人的なツールの元なるソースをメモ。 https://dk521123.hatenablog.com/entry/2023/06/18/102448 https://dk521123.hatenablog.com/entry/2023/06/14/174104 を組み合わせて、1つのDOTファイ…

【Snowflake】Snowflake ~ Materialized View ~

■ はじめに https://dk521123.hatenablog.com/entry/2022/10/10/000000 で、Snowflakeのビューをやったが、 Materialized View (マテリアライズドビュー; マテビュー) が ちょくちょくキーワードとしてでてくるので、この機会に 徐々にまとめていく。 ちなみ…

画面動画を撮るには

■ はじめに 現場作業で動画撮影しているのだが その方法について、教えてもらったので、メモ。 環境設定や手順について、動画が纏めて伝えるなど 今後の仕事でも使えそうだし、 YouTubeとかにあげて小遣い稼ぎもできそーだし。 目次 【1】方法1:PowerPoin…

【トラブル】【dbt】dbt に関するトラブル

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/30/151003 などで発生したトラブルをまとめる 目次 【1】「dbt init users」実行時に「Error: Invalid value for '--profiles-dir'」が表示 【2】Windowsで「pip install --upgrade pip wheel s…

【JS】DOT言語表示ツール ~ d3-graphviz ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 https://dk521123.hatenablog.com/entry/2023/06/16/000531 で、度々登場したDOT言語のPlayground (graphviz-visual-editor) を使ってm各DOTの移り変わりをアニメーション化して 表…

【Python】Python で DOT言語による Animation tool 作成

■ はじめに 超個人的なツール。 https://dk521123.hatenablog.com/entry/2023/06/18/102448 と組み合わせればアニメーションで動くものになるので。 【1】サンプル フォルダ構成 + dot_viewer_creator.py + delete + 01.txt + 02.txt + 03.txt + add + 01.t…

【DOT】DOT言語 ~ 入門編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/15/004815 の続き。 今回は、DOT言語の使えそうな文法について、 ちょこちょこ書き溜めていく なお、以下のPlayground で触りながらやるのが一番わかりやすい Playground http://magjac.com/graph…

【DOT】DOT言語 ~ 基礎知識編 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/14/174104 で扱った DOT言語 に関して、ちょこちょこまとめる 目次 【1】学習サイト 【2】構文 1)テンプレート 【3】用語整理 1)Node / Edge 2)GraphViz 【4】サンプル 【1】学習サイ…

【Python】Python + DOT言語で図作成するには

■ はじめに 以前のTerraformの記事で https://dk521123.hatenablog.com/entry/2019/12/09/222057 ~~~ terraform graphで、Terraformの依存関係をグラフ化することが可能 terraform graph | dot -Tsvg > graph.svg ~~~ って、Terraformの依存関係をグラフ化し…

【Snowflake】Snowflake ~ 見積もり・コスト ~

■ はじめに Snowflake のコストの見積もりについて分かったことを纏める 目次 【1】見積もり算出ツール 【2】公式ドキュメント 【3】クレジット 【4】コストを決める3要素 1)コンピューティング 2)ストレージ 3)データ転送 【1】見積もり算出ツー…

【Rust】sqlparser-rs ~ SQL Parser for Rust ~

■ はじめに 小ネタ。 業務で、複雑なSQLを解析するために、 sqlparser-rs を使ってParseして、 そのParse結果をDOT言語化して、 それを、コマンドもしくは、以下の関連記事でやったようなツールで SVG画像化するといったことをやっていた。 そこで、その元と…

【Python】Python ~ 再帰関数 ~

■ はじめに Python の 再帰関数について徐々にメモる。 目次 【1】再帰関数 1)基本的な考え方 【2】サンプル 例1:階乗(n!) 【1】再帰関数 1)基本的な考え方 def <再帰関数>(引数, ...): if 抜ける判定: # ★ポイント:ここで無限ループを抜けるよ…

【Scala】Scala ~ 環境構築編 / IntelliJ IDEA in WSL ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/03/10/193805 で、Windwos で、Scala 開発環境を構築したが Windows/WSL + IntelliJ IDEA + Scala の開発環境を構築しようって 話になったので構築してみる 目次 【1】IntelliJ IDEA 1)IntelliJ I…

【VI】VIM ~ 学ぶ際のサイト ~

■ はじめに 小ネタ。 現場で、VimGolf なるものを教えてもらったので調べてみた。 目次 【1】基礎操作を学ぶには 1)動画で学ぶ 2)コマンド「vimtutor」 【2】解説サイトなどで学ぶ 【3】VimGolf 【4】VIM Adventure 【1】基礎操作を学ぶには * いき…

【Snowflake】Snowflake ~ キーペア認証 ~

■ はじめに https://dk521123.hatenablog.com/entry/2023/06/07/144114 で、Kafka用Snowflakeコネクタ について扱ったが 必須で「snowflake.private.key (必須)」って項目があり 以下のような説明だった https://docs.snowflake.com/ja/user-guide/kafka-con…

【Kafka】Kafkaコネクタ ~ Kafka用Snowflakeコネクタ ~

■ はじめに 業務で、 Kafka用Snowflakeコネクタ を試すことになったのでメモ。 徐々に書き足していく、、、 目次 【1】Kafkaコネクタ 【2】仕様 【3】設定 1)Kafkaコネクタの種類 2)設定手順 【4】Kafka構成ファイル 1)構成ファイル例 2)Kafka構…

【Scala】Scala ~ 基本編 / パターンマッチング ~

■ はじめに Scala の パターンマッチング が強力って話が業務中にでてきたので 調べて、まとめる 目次 【0】パターンマッチング 【1】定数でのマッチング 【2】ガード条件(if)でのマッチング 【3】関数として定義 【4】データ型でのマッチング 【5】…

【Terraform】Terraform ~ tag あれこれ ~

■ はじめに 小ネタ。 Terraform の default_tags などでトラブルがあったのでメモ。 目次 【1】tags 【2】default_tags 1)モジュールへのタグ設定の継承方法 【3】merge関数 【1】tags * AWS の Tag で利用できる https://registry.terraform.io/provi…

【Terraform】AWS MSK Connect 内の 接続情報を設定を考える

■ はじめに https://dk521123.hatenablog.com/entry/2023/05/14/122215 https://dk521123.hatenablog.com/entry/2023/05/25/000000 の続き。 今回は、AWS MSK Connect の 設定部分、特に、機密に関わるDBなどの接続情報を Secret Manager から取得することを…

【AWS】Amazon MSK ~ AWS CLI ~

■ はじめに Amazon MSK Connect (Amazon Managed Streaming for Apache Kafka) の REST API について、調べていたのだが、 結局は、AWS CLIの方がいいといったこともあるので、そこらへんをメモ。 目次 【1】Amazon MSK の AWS CLI 1)MSK 2)MSK Conne…

【Kafka】Kafka Connect ~ Connector 構成プロパティ ~

■ はじめに 今日ってゆーかー昨日、 Kafka Connect の Connector 構成プロパティの指定がミスってて 2~3日ハマって迷惑かけたので、メモ。 目次 【1】接続 1)connection.url 2)connection.user 3)connection.password 4)connection.attempts 5)d…

【Shell】 シェル ~ 非同期 ~

■ はじめに 小ネタ。 パフォーマンステストする際に、 Rest APIを(できる限り)同時にKickしたい時に 調べていたことをメモ。 目次 【1】シェルでの非同期処理 【2】サンプル 【1】シェルでの非同期処理 * (色々な方法があるみたいだが)実行したい行の…