Fluentd 和 Cortex 集成

输入和输出集成概述

Fluentd 输入插件从 Fluentd 的 in_monitor 插件端点收集指标。它提供对各种插件指标的洞察，同时允许自定义配置以减少序列基数。

此插件使 Telegraf 能够使用 Prometheus 远程写入协议将指标发送到 Cortex，从而实现无缝摄取到 Cortex 的可扩展、多租户时间序列存储中。

集成详情

Fluentd

此插件从 in_monitor 插件提供的 Fluentd 插件端点收集指标。它从 /api/plugin.json 资源读取数据，并允许根据插件类型排除特定插件。

Cortex

借助 Telegraf 的 HTTP 输出插件和 prometheusremotewrite 数据格式，您可以将指标直接发送到 Cortex，这是一个针对 Prometheus 的水平可扩展长期存储后端。Cortex 支持多租户，并使用 Prometheus protobuf 格式接受远程写入请求。通过使用 Telegraf 作为收集代理，并使用远程写入作为传输机制，组织可以将可观测性扩展到 Prometheus 原生不支持的来源（例如 Windows 主机、支持 SNMP 的设备或自定义应用程序指标），同时利用 Cortex 的高可用性和长保留能力。

配置

Fluentd

[[inputs.fluentd]]
  ## This plugin reads information exposed by fluentd (using /api/plugins.json endpoint).
  ##
  ## Endpoint:
  ## - only one URI is allowed
  ## - https is not supported
  endpoint = "http://localhost:24220/api/plugins.json"

  ## Define which plugins have to be excluded (based on "type" field - e.g. monitor_agent)
  exclude = [
    "monitor_agent",
    "dummy",
  ]

Cortex

[[outputs.http]]
  ## Cortex Remote Write endpoint
  url = "http://cortex.example.com/api/v1/push"

  ## Use POST to send data
  method = "POST"

  ## Send metrics using Prometheus remote write format
  data_format = "prometheusremotewrite"

  ## Optional HTTP headers for authentication
  # [outputs.http.headers]
  #   X-Scope-OrgID = "your-tenant-id"
  #   Authorization = "Bearer YOUR_API_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Fluentd

1. 基本配置：设置 Fluentd 输入插件以从 Fluentd 实例的监控端点收集指标，确保您能够跟踪性能和使用统计信息。
2. 排除插件：使用 exclude 选项忽略监控需求中不需要的特定插件的指标，从而简化数据收集并专注于重要事项。
3. 自定义插件 ID：在 Fluentd 配置中实现 @id 参数以保持一致的 plugin_id，这有助于避免频繁重启期间出现高序列基数的问题。

Cortex

1. 统一的多租户监控：使用 Telegraf 从不同的团队或环境收集指标，并将它们推送到带有单独 X-Scope-OrgID 标头的 Cortex。这实现了每个租户的隔离数据摄取和查询，非常适合托管服务和平台团队。

2. 将 Prometheus 覆盖范围扩展到边缘设备：在边缘或物联网设备上部署 Telegraf 以收集系统指标，并将它们发送到集中的 Cortex 集群。即使对于没有本地 Prometheus 抓取器的环境，这种方法也能确保一致的可观测性。

3. 具有联合租户的全局服务可观测性：通过配置 Telegraf 代理将数据推送到区域 Cortex 集群（每个集群都标记有租户标识符）来聚合来自全局基础设施的指标。Cortex 处理跨区域的重复数据删除和集中访问。

4. 自定义应用程序遥测管道：通过 Telegraf 的 exec 或 http 输入插件收集特定于应用程序的遥测数据，并将其转发到 Cortex。这使 DevOps 团队能够以可扩展、查询高效的格式监控特定于应用程序的 KPI，同时保持指标按租户或服务进行逻辑分组。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。