◾️はじめに https://dk521123.hatenablog.com/entry/2023/12/24/173633 https://dk521123.hatenablog.com/entry/2025/09/19/093537 の続き。 Terraform の variable の 構文やTipsをまとめておく 目次 【１】variable の 構文 １）description ... 説明文 ２…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/12/24/173633 の続き。 最近、Terraform の variable を使って、学びが多かったので まとめておく 目次 【１】variable 【２】Hello world 【３】値の設定の仕方 １）コマンドの引数で直接設定「-var…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/09/17/224604 の続き。 今回は、これをTerraformコードで設定できるようにする 【１】サンプル １）フォルダ構成 ├── lambda │ └── main.py ├── local.tf ├── s3.tf ├── cloudwatch.tf ├── iam.tf └─…

◾️はじめに s3 ファイル到達の監視を考える 目次 【１】やりたいこと 【２】実装案 １）EventBridgeに関して 【３】案１：S3イベント通知→Lambda→CloudWatch Logs→Datadogで実装 １）Lambda を作成する ２）S3イベント通知を設定する 【１】やりたいこと * A…

◾️はじめに Datadog で MWAA / Airflow を監視するための 技術メモを徐々にではあるが残しておく。 目次 【１】MWAA 【２】Airflow 【１】MWAA * AWS の MWAA(Amazon Managed Workflows for Apache Airflow) もサポートされている https://docs.datadoghq.co…

◾️はじめに 小ネタ。 今更だが、Windows と WSL のファイル交換についてメモ 目次 【１】Windows と WSL のファイル交換 １）WSL to Windows ２）Windows to WSL 【２】（個人的に）WSL構築時にやっておく設定 １）WSL to Windows ２）Windows to WSL 【１】…

◾️はじめに https://dk521123.hatenablog.com/entry/2023/12/04/000000 の続き。 dbt の materialized='incremental'で、 個人的に少し学びがあったので、メモしておく 目次 【１】やりたいこと 補足：DELETE＋INSERTに関して 【２】サンプル 補足：実際には…

◾️はじめに https://dk521123.hatenablog.com/entry/2010/02/05/131206 https://dk521123.hatenablog.com/entry/2012/05/06/212246 の続き。 今更ながらだが、 完全外部結合（FULL OUTER JOIN）について扱う 目次 【１】完全外部結合（FULL OUTER JOIN） 【…

◾️はじめに 小ネタ。 dbtマクロ load_relation() について扱う 目次 【１】load_relation() １）Relation object 【２】サンプル 【３】使用例 【１】load_relation() https://docs.getdbt.com/reference/dbt-jinja-functions/adapter#load_relation * テー…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/08/31/005438 の続き。 今回は、Time Travel関連のSQL構文である AT | BEFORE 句やUNDROP文などを扱う 目次 【１】AT | BEFORE 句 １）使用例 【２】UNDROP [オブジェクト] １）構文 ２）使用例 ３）…

◾️はじめに * Snowflakeで誤操作した場合の復元方法を学ぶ 目次 【１】Snowflake Time Travel １）保持期間 ２）復元方法 【２】Snowflake Fail-safe １）保持期間 ２）復元方法 ３）使用上の注意：一時テーブル - TRANSIENT 【１】Snowflake Time Travel * …

◾️はじめに 小ネタばっかりだが、、、 SnowflakeのENABLE_SCHEMA_EVOLUTION=True / False についてメモっておく 目次 【１】ENABLE_SCHEMA_EVOLUTION 【２】関連するSQL文 １）ENABLE_SCHEMA_EVOLUTIONの切り替え ２）確認方法 【１】ENABLE_SCHEMA_EVOLUTIO…

◾️はじめに 小ネタ。 Snowflake の パイプ演算子（Pipe operator; ->>) を 教えてもらったので、メモしておく 目次 【１】パイプ演算子（Pipe operator; ->>) 【２】サンプル 例１：show tables の結果を更に絞る 【１】パイプ演算子（Pipe operator; ->>) *…

◾️はじめに 原因はエラー内容ですぐに解決できたが いまいち、納得のいく記述がなかったので 現象自体をメモしておく 【１】トラブル概要 以下のINSERT SELECT 文を実行したところ、 エラー「Expression type does not match column data type」 が表示され…

◾️はじめに 小ネタ https://dk521123.hatenablog.com/entry/2024/05/01/000000 で、ポートフォワードでWeb UIを表示しているのだが たまに、接続できない時があるので、原因の切り分けをメモしておく 目次 原因１：AWS Confidentialの誤り 原因２：AWS CLI …

◾️はじめに https://dk521123.hatenablog.com/entry/2025/08/21/143045 を知った際に、Visual Studio Code の tasks.json も学んだので メモしておく 【１】.vscode/tasks.json * JSON形式で定型のコマンド類を登録し実行できる 【２】Hello World Step1：.v…

◾️はじめに GitHub Copilot の copilot-instructions.md (リポジトリ カスタム命令) について学んだので、メモ。 【１】copilot-instructions.md (リポジトリ カスタム命令) * copilotに対して、プロジェクト一般のルールを予め指定できるファイル 【２】サ…

◾️はじめに S3上のCSVヘッダーを比較する必要が出てきて、 はじめは、目視でやっていたのだが、面倒臭い＋ミスが出そうだが 忙しく焦っている時にシェル書いても余計イライラしそうだなっと思っていたが、 ふっとAI（Copilot）に書いてもらおうと思い、書い…

◾️はじめに Databricks のハンズオンをやったので、メモ 目次 【１】Databricks Free Edition １）使用上の注意 【２】Databricks Free Edition セットアップ 【３】Hello world １）手順 【４】触ってみた感想・メモ 【１】Databricks Free Edition * Datab…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/07/02/134936 の続き。 今回は、 Datadog アラートからJIRA ticketを自動作成することを目標に、 DatadogのJIRA連携を調べてみた 目次 【１】JIRA １）設定に必要な関連用語 ２）公式ドキュメント 【…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/08/011248 の続き。 今回は、datadog の Arithmetic Processor について、メモ。 目次 【１】Arithmetic Processor / 算術演算プロセッサー １）作成方法 【２】使用可能な記号 / 演算子 【３】使…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/02/16/232413 https://dk521123.hatenablog.com/entry/2025/07/02/134936 https://dk521123.hatenablog.com/entry/2025/07/03/000113 で、色々と意図しない動きになってたので、 その際にあったトラ…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/02/16/232413 https://dk521123.hatenablog.com/entry/2025/07/02/134936 の続き。 今回は、通知に関する基本的な技術事項をまとめる。 目次 【０】公式ドキュメント 【１】Teams (チーム) １）Team…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/02/16/232413 の続き。 今回は、 Datadog Learning Center の「Customize Alert Monitor Notifications」 のAlertを使って、そのAlertをSlackに通知するようにする なお、TeamやIntegrationなどの詳…

◾️はじめに 今更だが、調査でsystemctlコマンドを使ったのでメモ 目次 【１】サービス起動・停止 １）サービスの起動 ２）サービスの停止 ３）サービスの再起動 【２】サービス自動起動 １）サービスの自動起動確認 ２）サービスの自動起動設定 ３）サービス…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/28/224441 の続き。 今回は、取り込んだログからメトリクスを生成する方法について扱う 目次 【１】取り込んだログからメトリクスを生成するには １）お題 ２）手順例 【２】補足：Descriptionを…

◾️はじめに Github copilot に以下の質問をしたところ Metrics（メトリクス）ってのが必要そうなので 調べてみた 質問 例えば、以下のログがあったとします ~~~ [LOG] {"diff_rate": "18.3", "timestamp":"2026-01-01 12:23:31" } ~~~ diff_rate>=20.0で警告…

◾️はじめに Airflow UI で インターフェイスをカスタマイズできるみたいで それが、doc_mdってのを知ったのでメモ 目次 【１】doc_md １）doc_md 以外のプロパティ 【２】サンプル 【１】doc_md * タスク インスタンスの詳細ビューに Markdown形式で説明文な…

◾️はじめに Datadog で Log Rehydration ってのを知ったので ログ管理周りについて、調べてみた 目次 【０】Datadog の ログの保存方法 【１】Log Index １）ログに関するコスト ２）Log Retention - ログに関する保存期間 ３）Indexの作成手順 【２】Log Ar…

◾️はじめに https://dk521123.hatenablog.com/entry/2025/06/18/143804 の続き。 前回は、Apache Icebergについておおよそ把握できたので 今回は、Snowflake内でIcebergを作ってみる => Snowflakeの公式ドキュメントがよくできているので、結構簡単にできる …