Fluentd 和 Splunk 集成

强大的性能和简单的集成,由 Telegraf 提供支持,Telegraf 是 InfluxData 构建的开源数据连接器。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Fluentd 和 InfluxDB

5B+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

1B+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将其视为时序数据时,任何数据都更有价值。 InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Fluentd 输入插件从 Fluentd 的 in_monitor 插件端点收集指标。 它提供对各种插件指标的洞察,同时允许自定义配置以减少序列基数。

此输出插件有助于将 Telegraf 收集的指标通过 HTTP 事件收集器直接流式传输到 Splunk,从而轻松与 Splunk 强大的分析平台集成。

集成详情

Fluentd

此插件从 in_monitor 插件提供的 Fluentd 插件端点收集指标。 它从 /api/plugin.json 资源读取数据,并允许根据插件类型排除特定插件。

Splunk

使用 Telegraf 可以轻松地从许多不同的来源收集和聚合指标,并将它们发送到 Splunk。 此配置利用 HTTP 输出插件和专门的 Splunk 指标序列化器,确保高效地将数据摄取到 Splunk 的指标索引中。 HEC 是 Splunk 提供的一种高级机制,旨在通过 HTTP 或 HTTPS 可靠地大规模收集数据,为安全、监控和分析工作负载提供关键功能。 Telegraf 与 Splunk HEC 的集成通过利用标准 HTTP 协议、内置身份验证和结构化数据序列化来简化操作,优化指标摄取并实现即时可操作的见解。

配置

Fluentd

[[inputs.fluentd]]
  ## This plugin reads information exposed by fluentd (using /api/plugins.json endpoint).
  ##
  ## Endpoint:
  ## - only one URI is allowed
  ## - https is not supported
  endpoint = "http://localhost:24220/api/plugins.json"

  ## Define which plugins have to be excluded (based on "type" field - e.g. monitor_agent)
  exclude = [
    "monitor_agent",
    "dummy",
  ]

Splunk

[[outputs.http]]
  ## Splunk HTTP Event Collector endpoint
  url = "https://splunk.example.com:8088/services/collector"

  ## HTTP method to use
  method = "POST"

  ## Splunk authentication token
  headers = {"Authorization" = "Splunk YOUR_SPLUNK_HEC_TOKEN"}

  ## Serializer for formatting metrics specifically for Splunk
  data_format = "splunkmetric"

  ## Optional parameters
  # timeout = "5s"
  # insecure_skip_verify = false
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"

输入和输出集成示例

Fluentd

  1. 基本配置:设置 Fluentd 输入插件以从 Fluentd 实例的监控端点收集指标,确保您能够跟踪性能和使用情况统计信息。
  2. 排除插件:使用 exclude 选项忽略特定插件的指标,这些指标对于您的监控需求不是必需的,从而简化数据收集并专注于重要事项。
  3. 自定义插件 ID:在您的 Fluentd 配置中实现 `@id` 参数以保持一致的 `plugin_id`,这有助于避免频繁重启期间出现高序列基数的问题。

Splunk

  1. 实时安全分析:利用此插件将来自各种应用程序的安全相关指标实时流式传输到 Splunk。 组织可以通过关联跨系统的数据流立即检测到威胁,从而显着缩短检测和响应时间。

  2. 多云基础设施监控:集成 Telegraf 以将来自多云环境的指标直接整合到 Splunk 中,从而实现全面的可见性和运营情报。 这种统一的监控使团队能够快速检测性能问题并简化云资源管理。

  3. 动态容量规划:部署此插件以将来自容器编排平台(如 Kubernetes)的资源指标持续推送到 Splunk。 利用 Splunk 的分析功能,团队可以自动化预测性扩展和资源分配,避免资源瓶颈并最大限度地降低成本。

  4. 自动化事件响应工作流:将此插件与 Splunk 的警报系统结合使用,以创建自动化事件响应工作流。 Telegraf 收集的指标触发实时警报和自动化修复脚本,确保快速解决问题并保持高系统可用性。

反馈

感谢您成为我们社区的一员! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将其视为时序数据时,任何数据都更有价值。 InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成