Amazon ECS 和 Thanos 集成

输入和输出集成概述

Amazon ECS 输入插件使 Telegraf 能够从 AWS ECS 容器收集指标，从而提供有关容器性能和资源利用率的详细见解。

此插件使用 Prometheus remote write 协议通过 HTTP 将指标从 Telegraf 发送到 Thanos，从而可以高效且可扩展地摄取到 Thanos Receive 组件中。

集成详情

Amazon ECS

Telegraf 的 Amazon ECS 插件旨在从在 AWS Fargate 或 EC2 实例上运行的 ECS（Elastic Container Service）任务中收集指标。通过利用 ECS 元数据和统计 API 端点（v2 和 v3），它可以获取有关任务中容器性能和健康状况的实时信息。此插件与被检查的工作负载在同一任务中运行，确保无缝访问元数据和统计信息。值得注意的是，它结合了 ECS 特有的功能，这些功能使其与 Docker 输入插件区分开来，例如处理独特的 ECS 元数据格式和统计信息。用户可以包含或排除特定的容器，并调整要监视的容器状态，以及为 ECS 标签定义标签选项。这种灵活性允许定制的监控体验，使其与 ECS 环境的特定需求相符，从而增强对容器化应用程序的可观察性和控制。

Thanos

Telegraf 的 HTTP 插件可以通过其 Remote Write 兼容的 Receive 组件将指标直接发送到 Thanos。通过将数据格式设置为 prometheusremotewrite，Telegraf 可以将指标序列化为本机 Prometheus 客户端使用的相同基于 protobuf 的格式。此设置实现了到 Thanos 的高吞吐量、低延迟指标摄取，从而促进了大规模的集中式可观察性。在混合环境中，Telegraf 从 Prometheus 本机范围之外的系统（例如 SNMP 设备、Windows 主机或自定义应用程序）收集指标，并将它们直接流式传输到 Thanos 以进行长期存储和全局查询时，这尤其有用。

配置

Amazon ECS

[[inputs.ecs]]
  # endpoint_url = ""
  # container_name_include = []
  # container_name_exclude = []
  # container_status_include = []
  # container_status_exclude = []
  ecs_label_include = [ "com.amazonaws.ecs.*" ]
  ecs_label_exclude = []
  # timeout = "5s"

[[inputs.ecs]]
  endpoint_url = "http://169.254.170.2"
  # container_name_include = []
  # container_name_exclude = []
  # container_status_include = []
  # container_status_exclude = []
  ecs_label_include = [ "com.amazonaws.ecs.*" ]
  ecs_label_exclude = []
  # timeout = "5s"

Thanos

[[outputs.http]]
  ## Thanos Receive endpoint for remote write
  url = "http://thanos-receive.example.com/api/v1/receive"

  ## HTTP method
  method = "POST"

  ## Data format set to Prometheus remote write
  data_format = "prometheusremotewrite"

  ## Optional headers (authorization, etc.)
  # [outputs.http.headers]
  #   Authorization = "Bearer YOUR_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Amazon ECS

1. 动态容器监控：使用 Amazon ECS 插件在自动扩展的 ECS 架构中动态监控容器运行状况。当新的容器启动或关闭时，插件将自动调整其收集的指标，确保高效捕获每个容器的性能数据，而无需手动配置。

2. 自定义资源分配警报：实施 ECS 插件以建立每个容器资源使用率的阈值。通过与通知系统集成，团队可以在容器的 CPU 或内存使用率超过预定义限制时收到警报，从而实现主动资源管理并维护应用程序性能。

3. 成本优化仪表板：利用从 ECS 插件收集的指标创建仪表板，以可视化与每个容器关联的资源使用率和成本。这种洞察力使组织能够识别未充分利用的资源，优化与其容器基础设施相关的成本，从而提高云运营的财务效率。

4. 高级容器安全监控：结合安全工具使用此插件来监控 ECS 容器指标中的异常情况。通过持续分析使用模式，可以检测到任何突然的峰值或不规则行为，从而触发自动安全响应并维护系统完整性。

Thanos

1. 无代理云监控：在云虚拟机上部署 Telegraf 代理以收集系统和应用程序指标，然后使用 Remote Write 将它们直接流式传输到 Thanos。这提供了集中式可观察性，而无需在每个位置都设置 Prometheus 节点。

2. 可扩展的 Windows 主机监控：在 Windows 计算机上使用 Telegraf 收集操作系统级别的指标，并通过 Remote Write 将它们发送到 Thanos Receive。这实现了跨异构环境的可观察性，而 Prometheus 本机仅在 Linux 上受支持。

3. 跨区域指标联合：多个地理区域中的 Telegraf 代理可以使用此插件将数据推送到区域本地的 Thanos Receivers。从那里，Thanos 可以全局去重和查询指标，从而减少延迟和网络出口成本。

4. 将第三方数据集成到 Thanos 中：使用 Telegraf 输入从自定义遥测源（例如 REST API 或专有日志）收集指标，并通过 Remote Write 将它们转发到 Thanos。这会将非原生数据引入 Prometheus 兼容的长期分析管道。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。