◾️はじめに
Datadogのpipeline(パイプライン)について 徐々にメモっていく
目次
【1】Pipelineを知る前にdatadogに関する前提知識 【2】Pipeline 1)補足事項 【3】Pipelineの役割 【4】Pipelineの構築
【1】Pipelineを知る前にdatadogに関する前提知識
* datadog は、JSON 形式のログは自動でパースしてくれる
【2】Pipeline
https://docs.datadoghq.com/ja/logs/log_configuration/pipelines/?tab=source
* JSON形式以外のログをパースし、属性を抽出して ファセット(Facet)として利用するための機能 => 属性/ファセットの詳細に関しては、以下の関連記事を参照のこと
datadog ~ 属性/ファセット/属性検索@ ~
https://dk521123.hatenablog.com/entry/2025/02/26/150349
1)補足事項
* Datadogにログを送信した際、ログが一番最初に通るのが Pipeline である
https://docs.datadoghq.com/ja/logs/log_configuration/pipelines/?tab=source
個人的な理解
* このPipelineを通して、ログを自分の扱いたいようにパースして オブジェクト化してくれるのが、Datadog の Pipeline機能である
【3】Pipelineの用途
* JSON形式以外のログをパースしたい場合 => システム構築前にdatadog を意識しない限り、ほぼ使う気がする、、、
【4】Pipelineの構築
* 以下の関連記事を参照のこと
datadog pipeline ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/06/04/221715
参考文献
https://dev.classmethod.jp/articles/datadog-pipelines-processors-guide/
https://zenn.dev/cozy07/scraps/55003cc05dc77f
関連記事
datadog ~ 基礎知識編 ~
https://dk521123.hatenablog.com/entry/2024/03/30/004746
datadog ~ 属性/ファセット/属性検索@ ~
https://dk521123.hatenablog.com/entry/2025/02/26/150349
datadog ~ integration ~
https://dk521123.hatenablog.com/entry/2025/04/11/003254
datadog pipeline ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/06/04/221715
datadog dashboard ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/02/09/000106
datadog dashboard ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2025/02/17/184724
datadog dashboard ~ あれこれ編 ~
https://dk521123.hatenablog.com/entry/2025/02/19/220516
datadog dashboard ~ Filtering ~
https://dk521123.hatenablog.com/entry/2025/02/25/151542
datadog Logs ~ 入門編 ~
https://dk521123.hatenablog.com/entry/2025/02/14/200308
datadog Logs ~ 基本編 ~
https://dk521123.hatenablog.com/entry/2025/02/15/213417