2025-06-01から1ヶ月間の記事一覧
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/28/224441 の続き。 今回は、取り込んだログからメトリクスを生成する方法について扱う 目次 【１】取り込んだログからメトリクスを生成するには １）お題 ２）手順例 【２】補足：Descriptionを…
◾️はじめに Github copilot に以下の質問をしたところ Metrics（メトリクス）ってのが必要そうなので 調べてみた 質問 例えば、以下のログがあったとします ~~~ [LOG] {"diff_rate": "18.3", "timestamp":"2026-01-01 12:23:31" } ~~~ diff_rate>=20.0で警告…
◾️はじめに Airflow UI で インターフェイスをカスタマイズできるみたいで それが、doc_mdってのを知ったのでメモ 目次 【１】doc_md １）doc_md 以外のプロパティ 【２】サンプル 【１】doc_md * タスク インスタンスの詳細ビューに Markdown形式で説明文な…
◾️はじめに Datadog で Log Rehydration ってのを知ったので ログ管理周りについて、調べてみた 目次 【０】Datadog の ログの保存方法 【１】Log Index １）ログに関するコスト ２）Log Retention - ログに関する保存期間 ３）Indexの作成手順 【２】Log Ar…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/18/143804 の続き。 前回は、Apache Icebergについておおよそ把握できたので 今回は、Snowflake内でIcebergを作ってみる => Snowflakeの公式ドキュメントがよくできているので、結構簡単にできる …
◾️はじめに Snowflake で Apache Iceberg でサポートされているらしいので まずは、Apache Icebergについて調べてみた 目次 【１】Apache Iceberg １）テーブル形式（Table Format）とは？ ２）クラウドサービスのサポート状況 【２】歴史 １）背景 - Hive/H…
◾️はじめに 既存システムのコード調査をしてた時に CASCADE って見慣れないキーワードを見たのでメモ。 はじめ、大したことなさそうなので、記事にするか迷ったが、 このオプションについて、さまざまなDBでサポートされているが DBごとによって仕様やデフォ…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/07/230713 の調査の一環として、 Pythonでs3上のPandasファイルをダウンロードせずに参照する方法を Github Copilotに聞いたところ、「s3fs」を教えてくれたので メモってみた 目次 【１】s3fsラ…
◾️はじめに datadog の Array processor を使ったので、メモ。 目次 【０】Array processor / 配列プロセッサー 【１】Select value from a matching element (一致する要素から値を選択) 【２】Compute the length of an array (配列の長さ) 【３】Append a…
◾️はじめに Snowflakeでトラブルがあったのでメモ。 以下のサイトが非常にいい記事で助かった。 https://zenn.dev/indigo13love/articles/be2a44901cc0af 目次 【１】トラブル概要 １）エラーになるSQL例 ２）エラーにならなかったSQL例 【２】エラー内容 【…
◾️はじめに 小ネタ。 調査するSQLで可変部分があって、 こちょこちょ直すとミスしやすいと思ったので 変数化したので、ちょっとメモっておく。 もう記憶の彼方になってしまったのだが、 過去記事を整理してたら、IDENTIFIERってのもあったので 以下の関連記…
◾️はじめに https://dk521123.hatenablog.com/entry/2025/04/14/145556 https://dk521123.hatenablog.com/entry/2025/02/14/200308 で、Datadogのpipeline（パイプライン）について扱った。 久しぶりに、datadog dashboard を触って、意図通りに表示されなか…
◾️はじめに 今更ながら、Pythonのリスト内包表記（List comprehensions） について扱う。 目次 【１】リスト内包表記（List comprehensions） １）例 【２】リスト内包表記の種類 １）配列（list） ２）集合（set） ３）辞書（dict） 【３】リスト内包表記の…
