Fluentd 和 Thanos 集成

输入和输出集成概述

Fluentd 输入插件从 Fluentd 的 in_monitor 插件端点收集指标。 它提供对各种插件指标的深入了解，同时允许自定义配置以减少序列基数。

此插件使用基于 HTTP 的 Prometheus 远程写入协议将指标从 Telegraf 发送到 Thanos，从而实现高效且可扩展地摄取到 Thanos Receive 组件中。

集成详情

Fluentd

此插件从 in_monitor 插件提供的 Fluentd 插件端点收集指标。 它从 /api/plugin.json 资源读取数据，并允许根据插件类型排除特定插件。

Thanos

Telegraf 的 HTTP 插件可以通过其兼容远程写入的 Receive 组件直接将指标发送到 Thanos。 通过将数据格式设置为 prometheusremotewrite，Telegraf 可以将指标序列化为本机 Prometheus 客户端使用的相同基于 protobuf 的格式。 这种设置实现了高吞吐量、低延迟的指标摄取到 Thanos 中，从而促进了大规模的集中式可观测性。 它在混合环境中尤其有用，在这些环境中，Telegraf 从 Prometheus 本机范围之外的系统（例如 SNMP 设备、Windows 主机或自定义应用程序）收集指标，并将它们直接流式传输到 Thanos，以进行长期存储和全局查询。

配置

Fluentd

[[inputs.fluentd]]
  ## This plugin reads information exposed by fluentd (using /api/plugins.json endpoint).
  ##
  ## Endpoint:
  ## - only one URI is allowed
  ## - https is not supported
  endpoint = "http://localhost:24220/api/plugins.json"

  ## Define which plugins have to be excluded (based on "type" field - e.g. monitor_agent)
  exclude = [
    "monitor_agent",
    "dummy",
  ]

Thanos

[[outputs.http]]
  ## Thanos Receive endpoint for remote write
  url = "http://thanos-receive.example.com/api/v1/receive"

  ## HTTP method
  method = "POST"

  ## Data format set to Prometheus remote write
  data_format = "prometheusremotewrite"

  ## Optional headers (authorization, etc.)
  # [outputs.http.headers]
  #   Authorization = "Bearer YOUR_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Fluentd

1. 基本配置：设置 Fluentd 输入插件以从 Fluentd 实例的监控端点收集指标，确保您能够跟踪性能和使用情况统计信息。
2. 排除插件：使用 exclude 选项忽略特定插件的指标，这些指标对于您的监控需求不是必需的，从而简化数据收集并专注于重要事项。
3. 自定义插件 ID：在 Fluentd 配置中实现 @id 参数以保持一致的 plugin_id，这有助于避免频繁重启期间出现高序列基数的问题。

Thanos

1. 无代理云监控：在云虚拟机上部署 Telegraf 代理以收集系统和应用程序指标，然后使用远程写入将它们直接流式传输到 Thanos。 这提供了集中式可观测性，而无需在每个位置都部署 Prometheus 节点。

2. 可扩展的 Windows 主机监控：在 Windows 机器上使用 Telegraf 收集操作系统级别的指标，并通过远程写入将它们发送到 Thanos Receive。 这使得在异构环境中实现可观测性，而本机 Prometheus 仅在 Linux 上受支持。

3. 跨区域指标联邦：多个地理区域中的 Telegraf 代理可以使用此插件将数据推送到区域本地的 Thanos Receivers。 从那里，Thanos 可以全局去重和查询指标，从而降低延迟和网络出口成本。

4. 将第三方数据集成到 Thanos 中：使用 Telegraf 输入从自定义遥测源（例如 REST API 或专有日志）收集指标，并通过远程写入将它们转发到 Thanos。 这将非原生数据带入 Prometheus 兼容的长期分析管道。

反馈

感谢您成为我们社区的一份子！ 如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。