Fluentd 和 OpenTSDB 集成

输入和输出集成概述

Fluentd 输入插件从 Fluentd 的 in_monitor 插件端点收集指标。它提供对各种插件指标的深入了解，同时允许自定义配置以减少序列基数。

OpenTSDB 插件促进了 Telegraf 与 OpenTSDB 的集成，允许用户将时序指标无缝推送到 OpenTSDB 后端。

集成详情

Fluentd

此插件从 in_monitor 插件提供的 Fluentd 插件端点收集指标。它从 /api/plugin.json 资源读取数据，并允许根据插件类型排除特定插件。

OpenTSDB

OpenTSDB 插件旨在通过 telnet 或 HTTP 模式将指标发送到 OpenTSDB 实例。随着 OpenTSDB 2.0 的推出，发送指标的推荐方法是通过 HTTP API，它允许通过配置“http_batch_size”来批量处理指标。该插件支持多种配置选项，包括指标前缀、服务器主机和端口规范、反向代理的 URI 路径自定义以及用于诊断与 OpenTSDB 通信问题的调试选项。此插件在生成时序数据并且需要高效地存储在可扩展的时序数据库（如 OpenTSDB）中的场景中特别有用，使其适用于广泛的监控和分析应用程序。

配置

Fluentd

[[inputs.fluentd]]
  ## This plugin reads information exposed by fluentd (using /api/plugins.json endpoint).
  ##
  ## Endpoint:
  ## - only one URI is allowed
  ## - https is not supported
  endpoint = "http://localhost:24220/api/plugins.json"

  ## Define which plugins have to be excluded (based on "type" field - e.g. monitor_agent)
  exclude = [
    "monitor_agent",
    "dummy",
  ]

OpenTSDB

[[outputs.opentsdb]]
  ## prefix for metrics keys
  prefix = "my.specific.prefix."

  ## DNS name of the OpenTSDB server
  ## Using "opentsdb.example.com" or "tcp://opentsdb.example.com" will use the
  ## telnet API. "http://opentsdb.example.com" will use the Http API.
  host = "opentsdb.example.com"

  ## Port of the OpenTSDB server
  port = 4242

  ## Number of data points to send to OpenTSDB in Http requests.
  ## Not used with telnet API.
  http_batch_size = 50

  ## URI Path for Http requests to OpenTSDB.
  ## Used in cases where OpenTSDB is located behind a reverse proxy.
  http_path = "/api/put"

  ## Debug true - Prints OpenTSDB communication
  debug = false

  ## Separator separates measurement name from field
  separator = "_"

输入和输出集成示例

Fluentd

1. 基本配置：设置 Fluentd 输入插件以从 Fluentd 实例的监控端点收集指标，确保您能够跟踪性能和使用情况统计信息。
2. 排除插件：使用 exclude 选项忽略特定插件的指标，这些指标对于您的监控需求不是必需的，从而简化数据收集并专注于重要事项。
3. 自定义插件 ID：在您的 Fluentd 配置中实现 `@id` 参数以保持一致的 `plugin_id`，这有助于避免频繁重启期间出现高序列基数的问题。

OpenTSDB

1. 实时基础设施监控：利用 OpenTSDB 插件收集和存储来自各种基础设施组件的指标。通过配置插件将指标推送到 OpenTSDB，组织可以集中查看其基础设施的健康状况和长期性能。

2. 自定义应用程序指标跟踪：将 OpenTSDB 插件集成到自定义应用程序中，以跟踪关键绩效指标 (KPI)，例如响应时间、错误率和用户交互。此设置允许开发人员和产品团队可视化应用程序性能趋势并做出数据驱动的决策。

3. 自动化异常检测：结合机器学习算法利用该插件来自动检测发送到 OpenTSDB 的时序数据中的异常。通过持续监控传入的指标，系统可以训练模型，以便在潜在问题影响应用程序性能之前向用户发出警报。

4. 历史数据分析：使用 OpenTSDB 插件存储和分析历史性能数据，以进行容量规划和趋势分析。这提供了对系统长期行为的宝贵见解，帮助团队了解使用模式并为未来的增长做好准备。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。