Amazon CloudWatch 和 Splunk 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Cloudwatch 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。借助 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件将从 Amazon CloudWatch 中提取指标统计信息,从而简化监控和分析 AWS 资源的过程。

此输出插件有助于将 Telegraf 收集的指标直接流式传输到 Splunk 中,通过 HTTP Event Collector,从而轻松与 Splunk 强大的分析平台集成。

集成详情

Amazon CloudWatch

Amazon CloudWatch 插件允许用户从 Amazon 的 CloudWatch 服务中提取详细的指标统计信息。作为一种监控解决方案,CloudWatch 使​​用户能够跟踪与 AWS 资源和应用程序相关的各种指标,从而改进运营和性能洞察力。该插件使用结构化的身份验证方法,通过 STS(安全令牌服务)、共享凭证、环境变量和 EC2 实例配置文件相结合,优先考虑安全性和灵活性,确保对 AWS 资源的强大访问控制。主要功能包括定义特定指标命名空间、指标聚合周期以及可选包含链接帐户以进行跨帐户监控的能力。此插件的一个重要方面是它能够处理稀疏和密集指标格式,从而允许根据用户偏好使用不同的输出结构。因此,它通过直接从 CloudWatch 提供全面、及时的数据,支持云监控和分析中的多种用例。

Splunk

使用 Telegraf 可以轻松地从许多不同的来源收集和聚合指标,并将它们发送到 Splunk。通过利用 HTTP 输出插件和专门的 Splunk 指标序列化器,此配置确保高效地将数据摄取到 Splunk 的指标索引中。HEC 是 Splunk 提供的一种高级机制,旨在通过 HTTP 或 HTTPS 可靠地大规模收集数据,为安全性、监控和分析工作负载提供关键功能。Telegraf 与 Splunk HEC 的集成通过利用标准 HTTP 协议、内置身份验证和结构化数据序列化,优化了指标摄取并实现了即时可操作的见解,从而简化了操作。

配置

Amazon CloudWatch

[[inputs.cloudwatch]]
  region = "us-east-1"
  # access_key = ""
  # secret_key = ""
  # token = ""
  # role_arn = ""
  # web_identity_token_file = ""
  # role_session_name = ""
  # profile = ""
  # shared_credential_file = ""
  # include_linked_accounts = false
  # endpoint_url = ""
  # use_system_proxy = false
  # http_proxy_url = "http://localhost:8888"
  period = "5m"
  delay = "5m"
  interval = "5m"
  #recently_active = "PT3H"
  # cache_ttl = "1h"
  namespaces = ["AWS/ELB"]
  # metric_format = "sparse"
  # ratelimit = 25
  # timeout = "5s"
  # batch_size = 500
  # statistic_include = ["average", "sum", "minimum", "maximum", sample_count]
  # statistic_exclude = []
  # [[inputs.cloudwatch.metrics]]
  #  names = ["Latency", "RequestCount"]
  #  [[inputs.cloudwatch.metrics.dimensions]]
  #    name = "LoadBalancerName"
  #    value = "p-example"

Splunk

[[outputs.http]]
  ## Splunk HTTP Event Collector endpoint
  url = "https://splunk.example.com:8088/services/collector"

  ## HTTP method to use
  method = "POST"

  ## Splunk authentication token
  headers = {"Authorization" = "Splunk YOUR_SPLUNK_HEC_TOKEN"}

  ## Serializer for formatting metrics specifically for Splunk
  data_format = "splunkmetric"

  ## Optional parameters
  # timeout = "5s"
  # insecure_skip_verify = false
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"

输入和输出集成示例

Amazon CloudWatch

  1. 跨帐户监控:通过启用 include_linked_accounts 选项,利用此插件来监控多个 AWS 帐户中的资源。这种情况允许管理多个 AWS 帐户的公司将指标聚合到中央监控仪表板中,从而提供所有指标的统一视图,同时通过适当的角色管理确保安全的数据访问和合规性。

  2. 动态警报系统:将此插件与警报工具集成,以创建一个自动化系统,该系统根据 CloudWatch 指标的定义阈值触发警报。例如,如果延迟指标超过指定限制,则可以将警报发送给相关团队,从而能够主动响应性能问题并减少停机时间。

  3. 成本管理仪表板:使用从插件收集的指标构建成本管理仪表板,该仪表板可视化 AWS 服务使用指标随时间的变化。通过将这些指标与计费数据相关联,组织可以识别高成本服务,并采取明智的措施来优化其资源使用和支出。

  4. 应用程序的性能基准测试:利用从 AWS 上运行的应用程序收集的指标来执行性能基准测试。例如,通过跟踪 ELB 的延迟和请求计数指标,开发人员可以评估应用程序更改对其性能的影响,从而为优化做出数据驱动的决策。

Splunk

  1. 实时安全分析:利用此插件将来自各种应用程序的安全相关指标实时流式传输到 Splunk 中。组织可以通过关联跨系统的数据流立即检测到威胁,从而显着缩短检测和响应时间。

  2. 多云基础设施监控:集成 Telegraf 以将来自多云环境的指标整合到 Splunk 中,从而实现全面的可见性和运营情报。这种统一监控使团队能够快速检测性能问题并简化云资源管理。

  3. 动态容量规划:部署插件以将来自容器编排平台(如 Kubernetes)的资源指标持续推送到 Splunk 中。通过利用 Splunk 的分析功能,团队可以自动化预测性扩展和资源分配,避免资源瓶颈并最大限度地降低成本。

  4. 自动化事件响应工作流程:将此插件与 Splunk 的警报系统结合使用,以创建自动化事件响应工作流程。Telegraf 收集的指标触发实时警报和自动化修复脚本,确保快速解决问题并保持高系统可用性。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。借助 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成