Amazon CloudWatch 和 Cortex 集成

输入和输出集成概述

此插件将从 Amazon CloudWatch 中提取指标统计信息，从而简化监控和分析 AWS 资源的过程。

此插件使 Telegraf 能够使用 Prometheus remote write 协议将指标发送到 Cortex，从而实现无缝摄取到 Cortex 的可扩展、多租户时间序列存储中。

集成详情

Amazon CloudWatch

Amazon CloudWatch 插件允许用户从 Amazon 的 CloudWatch 服务中提取详细的指标统计信息。作为一种监控解决方案，CloudWatch 使用户能够跟踪与 AWS 资源和应用程序相关的各种指标，从而促进运营和性能洞察的改进。该插件使用结构化身份验证方法，通过 STS（安全令牌服务）、共享凭证、环境变量和 EC2 实例配置文件的组合，优先考虑安全性和灵活性，确保对 AWS 资源的强大访问控制。主要功能包括定义特定指标命名空间、指标聚合周期以及可选包含链接账户以进行跨账户监控的能力。此插件的一个重要方面是它能够处理稀疏和密集指标格式，从而根据用户偏好允许不同的输出结构。因此，它通过提供直接来自 CloudWatch 的全面、及时的数据，支持云监控和分析中的多种用例。

Cortex

借助 Telegraf 的 HTTP 输出插件和 prometheusremotewrite 数据格式，您可以将指标直接发送到 Cortex，Cortex 是 Prometheus 的水平可扩展的长期存储后端。Cortex 支持多租户，并使用 Prometheus protobuf 格式接受远程写入请求。通过使用 Telegraf 作为收集代理，并使用 Remote Write 作为传输机制，组织可以将可观测性扩展到 Prometheus 本身不支持的来源（例如 Windows 主机、支持 SNMP 的设备或自定义应用程序指标），同时利用 Cortex 的高可用性和长期保留能力。

配置

Amazon CloudWatch

[[inputs.cloudwatch]]
  region = "us-east-1"
  # access_key = ""
  # secret_key = ""
  # token = ""
  # role_arn = ""
  # web_identity_token_file = ""
  # role_session_name = ""
  # profile = ""
  # shared_credential_file = ""
  # include_linked_accounts = false
  # endpoint_url = ""
  # use_system_proxy = false
  # http_proxy_url = "http://localhost:8888"
  period = "5m"
  delay = "5m"
  interval = "5m"
  #recently_active = "PT3H"
  # cache_ttl = "1h"
  namespaces = ["AWS/ELB"]
  # metric_format = "sparse"
  # ratelimit = 25
  # timeout = "5s"
  # batch_size = 500
  # statistic_include = ["average", "sum", "minimum", "maximum", sample_count]
  # statistic_exclude = []
  # [[inputs.cloudwatch.metrics]]
  #  names = ["Latency", "RequestCount"]
  #  [[inputs.cloudwatch.metrics.dimensions]]
  #    name = "LoadBalancerName"
  #    value = "p-example"

Cortex

[[outputs.http]]
  ## Cortex Remote Write endpoint
  url = "http://cortex.example.com/api/v1/push"

  ## Use POST to send data
  method = "POST"

  ## Send metrics using Prometheus remote write format
  data_format = "prometheusremotewrite"

  ## Optional HTTP headers for authentication
  # [outputs.http.headers]
  #   X-Scope-OrgID = "your-tenant-id"
  #   Authorization = "Bearer YOUR_API_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Amazon CloudWatch

1. 跨账户监控：通过启用 include_linked_accounts 选项，利用此插件跨多个 AWS 账户监控资源。这种情况允许管理多个 AWS 账户的公司将指标聚合到中央监控仪表板中，从而提供所有指标的统一视图，同时通过适当的角色管理确保安全的数据访问和合规性。

2. 动态警报系统：将此插件与警报工具集成，以创建一个自动化系统，该系统根据 CloudWatch 指标的已定义阈值触发警报。例如，如果延迟指标超过指定限制，则可以将警报发送到相关团队，从而能够主动响应性能问题并减少停机时间。

3. 成本管理仪表板：使用从插件收集的指标构建一个成本管理仪表板，该仪表板可视化 AWS 服务随时间推移的使用情况指标。通过将这些指标与计费数据相关联，组织可以识别高成本服务，并采取明智的措施来优化其资源使用情况和支出。

4. 应用程序的性能基准测试：利用从 AWS 上运行的应用程序收集的指标来执行性能基准测试。例如，通过跟踪 ELB 的延迟和请求计数指标，开发人员可以评估应用程序更改对其性能的影响，从而为优化做出数据驱动的决策。

Cortex

1. 统一的多租户监控：使用 Telegraf 从不同的团队或环境中收集指标，并将它们推送到带有单独 X-Scope-OrgID 标头的 Cortex。这允许每个租户隔离数据摄取和查询，非常适合托管服务和平台团队。

2. 将 Prometheus 覆盖范围扩展到边缘设备：在边缘或 IoT 设备上部署 Telegraf 以收集系统指标，并将它们发送到集中的 Cortex 集群。即使对于没有本地 Prometheus 抓取器的环境，此方法也能确保一致的可观测性。

3. 具有联合租户的全球服务可观测性：通过配置 Telegraf 代理将数据推送到区域 Cortex 集群（每个集群都标记有租户标识符）来聚合来自全球基础设施的指标。Cortex 处理跨区域的重复数据删除和集中访问。

4. 自定义应用程序遥测管道：通过 Telegraf 的 exec 或 http 输入插件收集特定于应用程序的遥测数据，并将其转发到 Cortex。这使 DevOps 团队能够以可扩展、查询高效的格式监控特定于应用程序的 KPI，同时保持指标按租户或服务进行逻辑分组。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。