◾️はじめに
Datadog で Log Rehydration ってのを知ったので ログ管理周りについて、調べてみた
目次
【０】Datadog の ログの保存方法 【１】Log Index １）ログに関するコスト ２）Log Retention - ログに関する保存期間 ３）Indexの作成手順 【２】Log Archives / Log Rehydration １）Log Archives ２）Log Rehydration
【０】Datadog の ログの保存方法
* Datadog の ログの保存方法は、以下の２通り。 ~~~~~ [1] Log Index [2] Log Archives ~~~~~
【１】Log Index
* 取り込んだログをインデックス化し、以下を実現可能にする機能 + Log Explorer で検索・閲覧 + 監視
https://docs.datadoghq.com/ja/logs/log_configuration/indexes/
１）ログに関するコスト
* Datadogのログに関するコストは、以下の２通りある。 ~~~~~~ [1] ingest ... 取り込み [2] index ... 保持または復元 ~~~~~~ cf. ingest (インジェスト) = 取り込む、摂取する
https://www.datadoghq.com/ja/pricing/?product=log-management#products
| 取り込み(ingest) | 保持または復元(index) |
|---|---|
| $ 0.13 / 取り込みまたはスキャンされた GB | 15 日間の保存期間 $ 2.13 / 100 万ログイベント |
使用上の注意
* 結構高いので、不要なログは「除外フィルター」などで除外しておくといい => 以下のサイトだと、１ヶ月間で30万ほど、、、
https://qiita.com/snooow/items/45038ff9205db365d3fb
２）Log Retention - ログに関する保存期間
* Datadog logsの保存期間(デフォルトでは 30days）を超えると ログデータが消える => 保存期間が長くすればするほど、コストが掛かる => そのため、「【２】Log Archives」で、別出ししておくといい cf. Retention (リテンション) = 「維持」「保持」
３）Indexの作成手順
[1] datadog にログイン [2] [Logs]-[Indexes]を選択し、「New Index」ボタン押下 [3] 以下の表の項目を入力し、「Save」ボタン押下
| # | Set Index Name | Explanations | Example |
|---|---|---|---|
| 1 | Set Index Name | インデックス名を入力 | demo-index |
| 2 | Define Index Filter | インデックスのフィルタを入力 | (未入力) |
| 3 | Set Index Retentions | インデックスの保存期間を入力 | 30days |
【２】Log Archives / Log Rehydration
| 機能 | 説明 |
|---|---|
| Log Archives | ログを貯めておく機能 |
| Log Rehydration | 貯めたログもExportする機能 |
１）Log Archives
* Datadogに送ったログを、S3などのストレージを保存する機能
https://docs.datadoghq.com/ja/logs/log_configuration/archives/?tab=awss3
２）Log Rehydration
* Log Archivesからログイベントを取得して、 検索に最適化された Datadog のログエクスプローラーに戻す機能 cf. Rehydration(リハイドレーション) = 水分補給
https://docs.datadoghq.com/ja/logs/log_configuration/rehydrating?tab=amazons3
参考文献
https://qiita.com/bayashi1212/items/042bd2812c082be632f9
https://zenn.dev/tatsuo48/scraps/fb13f1c3217a32
https://qiita.com/shin1988/items/2399d8324e3844f65a20
https://qiita.com/t_k2/items/47400ff31cc6e4fb7bde
関連記事
datadog ～ 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2024/03/30/004746
datadog ～ 属性/ファセット/属性検索@ ～
https://dk521123.hatenablog.com/entry/2025/02/26/150349
datadog ～ タグ ～
https://dk521123.hatenablog.com/entry/2025/02/27/002502
datadog pipeline ～ 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2025/04/14/145556
datadog pipeline ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2025/06/04/221715
datadog dashboard ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2025/02/09/000106
datadog Logs ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2025/02/14/200308
datadog Logs ～ 基本編 ～
https://dk521123.hatenablog.com/entry/2025/02/15/213417
datadog Alert ～ 入門編 ～
https://dk521123.hatenablog.com/entry/2025/02/16/232413
Terraform ～ Datadog / 基礎知識編 ～
https://dk521123.hatenablog.com/entry/2023/05/12/000000
