【datadog】datadog Alert ~ トラブルあれこれ ~

◾️はじめに

https://dk521123.hatenablog.com/entry/2025/02/16/232413
https://dk521123.hatenablog.com/entry/2025/07/02/134936
https://dk521123.hatenablog.com/entry/2025/07/03/000113

で、色々と意図しない動きになってたので、
その際にあったトラブルシュートを徐々にだがメモっておく

目次

【1】意図せずにRecoveredのINFO通知が表示される
【2】Alertの設定変更するたびに通知されてしまう
【3】通知をコンパクトにするには
【4】「@変数>=数値」で通知できない

【1】意図せずにRecoveredのINFO通知が表示される

ログモニター使用でエラー通知した後、
数分後に意図せずにRecoveredのINFO通知が表示される

1)原因

メッセージで特に何も条件をつけずに通知先を追加している
 => 以下の解決案と比較すると何を言っているかわかると思う

Found error...
@slack-demo-datadog 

2)解決案

* {{#is_alert}}〜{{/is_alert}}を使う

{{#is_alert}}
Found error...
@slack-demo-datadog 
{{/is_alert}}

【2】Alertの設定変更するたびに通知されてしまう

Alertの設定変更するたびに通知されてしまう

1)原因

* 「(5)Define permissions and audit notifications」欄の
 「Audit Notifications」が「Notify(通知する)」のため

2)解決案

* 「(5)Define permissions and audit notifications」欄の
 「Audit Notifications」が「Do not notify(通知しない)」のため

【3】通知をコンパクトにするには

(トラブルではないが)Slackへの通知において
デフォルトだと通知の表示が情報が多すぎて個人的には鬱陶しいので
通知をコンパクトにしたい

1)原因

* Alertの「Notification Options」欄の「Default」
~~~~
Notification Options
Content displayed in notification [Default]
~~~~

2)解決案

* Notification Optionsを変更する
 => 「Test Notifications」ボタン押下して、
  どの値がいいかを試しながら決めるといいかも、、、

https://docs.datadoghq.com/ja/monitors/notify/

より抜粋
Notification Options Explanations
Default コンテンツが隠れることはありません。
Hide Query 通知メッセージからモニターのクエリを削除します。
Hide Handles 通知メッセージで使用されている @メンションを削除します。
Hide All 通知メッセージには、クエリ、ハンドル、スナップショット (メトリクスモニター用)、フッターの追加リンクは含まれません。
注: インテグレーションによっては、
一部のコンテンツがデフォルトで表示されない場合があります。

【4】「@変数>=数値」で通知できない

Define the metric欄で、以下のように設定しても
検知されずに通知されなかった
~~~~
@demo_param>=10
~~~~

1)原因

数値の設定が違う

https://docs.datadoghq.com/logs/explorer/search_syntax/#numerical-values

より抜粋

数値属性を検索するには、まずその属性をファセットとして追加します。
次に、数値演算子 (<、>、<=、または >=) を使用して、
数値ファセットの検索を行うことができます。
例えば、応答時間が 100ms 超のログをすべて取得するには、次のようにします。
===
@http.response_time:>100
===

2)解決案

Define the metric欄で、以下のように設定
~~~~
@demo_param:>=10
~~~~

関連記事

datadog ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2024/03/30/004746
datadog Alert ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/02/16/232413
datadog Alert ~ Slackに通知するには ~
https://dk521123.hatenablog.com/entry/2025/07/02/134936
datadog Alert ~ 通知あれこれ ~
https://dk521123.hatenablog.com/entry/2025/07/03/000113
datadog dashboard ~ Filtering ~
https://dk521123.hatenablog.com/entry/2025/02/25/151542