【datadog】datadog pipeline ~ 基礎知識編 ~

◾️はじめに

Datadogのpipeline(パイプライン)について
徐々にメモっていく

目次

【1】Pipelineを知る前にdatadogに関する前提知識
【2】Pipeline
 1)補足事項
【3】Pipelineの役割
【4】Pipelineの構築

【1】Pipelineを知る前にdatadogに関する前提知識

* datadog は、JSON 形式のログは自動でパースしてくれる

【2】Pipeline

https://docs.datadoghq.com/ja/logs/log_configuration/pipelines/?tab=source

* JSON形式以外のログをパースし、属性を抽出して
 ファセット(Facet)として利用するための機能
 => 属性/ファセットの詳細に関しては、以下の関連記事を参照のこと

datadog ~ 属性/ファセット/属性検索@ ~
https://dk521123.hatenablog.com/entry/2025/02/26/150349

1)補足事項

* Datadogにログを送信した際、ログが一番最初に通るのが Pipeline である

https://docs.datadoghq.com/ja/logs/log_configuration/pipelines/?tab=source

個人的な理解

 * このPipelineを通して、ログを自分の扱いたいようにパースして
 オブジェクト化してくれるのが、Datadog の Pipeline機能である

【3】Pipelineの用途

* JSON形式以外のログをパースしたい場合
 => システム構築前にdatadog を意識しない限り、ほぼ使う気がする、、、

【4】Pipelineの構築

* 以下の関連記事を参照のこと

datadog pipeline ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/06/04/221715

参考文献

https://dev.classmethod.jp/articles/datadog-pipelines-processors-guide/
https://zenn.dev/cozy07/scraps/55003cc05dc77f

関連記事

datadog ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2024/03/30/004746
datadog ~ 属性/ファセット/属性検索@ ~
https://dk521123.hatenablog.com/entry/2025/02/26/150349
datadog ~ integration ~
https://dk521123.hatenablog.com/entry/2025/04/11/003254
datadog pipeline ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/06/04/221715
datadog dashboard ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/02/09/000106
datadog dashboard ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2025/02/17/184724
datadog dashboard ~ あれこれ編 ~
https://dk521123.hatenablog.com/entry/2025/02/19/220516
datadog dashboard ~ Filtering ~
https://dk521123.hatenablog.com/entry/2025/02/25/151542
datadog Logs ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/02/14/200308
datadog Logs ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2025/02/15/213417