◾️はじめに

少しづつだがわかってきたdatadogのLog管理について
徐々にだがメモしていく

【１】用語整理
　１）パイプライン(Pipeline)
　２）プロセッサー(Processor)
　３）Grok パーサー (Grok parser)
　４）ファセット(facet)
【２】作業の大まかな流れ
　１）パイプラインの構築
　２）プロセッサーによるログのパース
　３）ファセットの登録
　４）可視化用ダッシュボードの作成

【１】用語整理

まずは、用語がいくつかあるので、その整理。

１）パイプライン(Pipeline)

* Datadogにログを送信した際、ログが一番最初に通るのが パイプライン

https://docs.datadoghq.com/ja/logs/log_configuration/pipelines/?tab=source

* 詳細は、以下の関連記事を参照の事

datadog ～ pipeline ～
https://dk521123.hatenablog.com/entry/2025/04/14/145556

２）プロセッサー(Processor)

* ログを構造化するためのツール
* パイプライン内で順次実行されるもの
* ベストプラクティスとして、パイプライン毎のプロセッサー数は
 　最大 20 で使用することが推奨

https://docs.datadoghq.com/ja/logs/log_configuration/processors/?tab=ui
https://docs.datadoghq.com/ja/service_management/events/pipelines_and_processors/

* 主な機能は以下の通り。

[1] Parser (パーサー)

* パースするためのプロセッサー

[2] Remapper (リマッパー)

* 任意のソース属性やタグを、別のターゲット属性やタグにマッピングし直すプロセッサー

https://docs.datadoghq.com/ja/service_management/events/pipelines_and_processors/remapper/

* 日付リマッパー(Date Remapper), ステータスリマッパー（Status Remapper）などが既存に用意

３）Grok パーサー (Grok parser)

* Datadog で利用される半構造化されたメッセージをパースするプロセッサー

cf. Grok（グロック）= xAI社が開発した対話型AIチャットボット

https://docs.datadoghq.com/ja/logs/log_configuration/processors/?tab=ui#grok-パーサー

ログのパース - ベストプラクティス
https://docs.datadoghq.com/ja/logs/guide/log-parsing-best-practice/

以下の公式ドキュメントでは

https://docs.datadoghq.com/ja/logs/explorer/facets/

のように説明されている
〜〜〜
* インデックス付きログのユーザー定義のタグと属性のこと
〜〜〜
が、これだとよくわからないので、詳細は以下の関連記事を参照のこと

datadog ～属性/ファセット/属性検索@ ～
https://dk521123.hatenablog.com/entry/2025/02/26/150349

【２】作業の大まかな流れ

* ログから可視化するための大まかな流れは以下。

１）パイプラインの構築
２）プロセッサーによるログのパース(Parse)
３）ファセットの登録
４）可視化用ダッシュボードの作成

# 「１）パイプラインの構築」と「２）プロセッサーによるログのパース」の
# 詳細な解説は、以下の関連記事も参照（今回は簡易版）

datadog pipeline ～入門編～
https://dk521123.hatenablog.com/entry/2025/06/04/221715

１）パイプラインの構築

https://docs.datadoghq.com/logs/log_configuration/pipelines/?tab=source#create-a-pipeline

[1] Datadog ログインし、[Logs]-[Pipelines] に移動

https://app.datadoghq.com/account/login

[2] 「Add a new pipeline」リンク or「New Pipeline」ボタン押下
[3] 以下を入力
 * Filter：フィルター => パイプラインを適用するログの種類を制限できる
 * Name：パイプライン名（e.g. hello-world）
 * Tags(オプション)： パイプラインタグ(e.g. key1:value1)
 * Description(オプション)：説明文（パイプラインの目的や、どのチームが所有しているか）
[4] 「Create」ボタンを押下

２）プロセッサーによるログのパース

[1] 追加したパイプライン配下の「Add Processor」リンク 押下
[2] 以下を入力
　(1) Select the processor type: 対象プロセッサーを選択（e.g. Grok Parser）

https://docs.datadoghq.com/ja/logs/log_configuration/processors/?tab=ui

　(2) Name the processor: プロセッサー名(e.g. Hello world Processor)
　(3) log samples: ログサンプル（e.g. [Demo-ERROR-001] john connected on 11/08/2017）
　(4) Define parsing rules:パース規則 （後述「※ パース規則例」参照）
　(5) 問題なければ「Match」になることを確認し、「Create」ボタン押下

※ パース規則例

MyParsingRule %{data}¥[%{regex("[A-Z]+"):system_type}-%{word:log_type}-%{integerStr:log_no}¥]%{data}

# Tips：ルールは複数指定可能
# 詳細な解説は、以下の関連記事を参照

datadog pipeline ～入門編～
https://dk521123.hatenablog.com/entry/2025/06/04/221715

３）ファセットの登録

[1] Datadogにログインし、[Logs]-[Explorer]でLog Explorerを表示

https://app.datadoghq.com/account/login

[2] サイドパネルにある「+Add」をクリックし、ファセットの登録画面が表示
 => !! 注意 !! 右上にある「Add」じゃない

[3] ファセットの登録画面の Pathに、登録したい属性名を@付きで設定
 e.g. %{word:log_type}であれば@ log_type

 => 登録が成功すると、Log Explorerのサイドパネルの下部に追加される

使用上の注意

* 必ずしも全属性をファセットにする必要はない
 => 検索条件等で使用する属性のみ

４）可視化用ダッシュボードの作成

* 以下の関連記事を参照の事

datadog dashboard ～入門編～
https://dk521123.hatenablog.com/entry/2025/02/09/000106

参考文献

https://tech.willgate.co.jp/entry/2024/12/03/000000
https://tech.willgate.co.jp/entry/2024/12/04/000000
https://qiita.com/1Kano/items/5da81366e1012c0a4bea
https://qiita.com/macaron/items/b74c564675390d967754
https://qiita.com/NaGym_t/items/9763155160a898092ec0
https://zenn.dev/luup_developers/articles/sre-niwa-20230512
https://dev.classmethod.jp/articles/datadog-pipelines-processors-guide/
https://eponas.gitlab.io/epona/guide/how_to/datadog_log_analysis/

ランキング参加中

プログラミング

プログラムの超個人的なメモ

Memo for Programming.

【datadog】datadog Logs ～入門編～

◾️はじめに

目次

【１】用語整理

１）パイプライン(Pipeline)

２）プロセッサー(Processor)

３）Grok パーサー (Grok parser)

４）ファセット(facet)

【２】作業の大まかな流れ

１）パイプラインの構築

２）プロセッサーによるログのパース

３）ファセットの登録

４）可視化用ダッシュボードの作成

参考文献

関連記事