Google Cloud PubSub 和 Thanos 集成

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标，从而实现实时数据处理和集成到监控设置中。

此插件使用基于 HTTP 的 Prometheus Remote Write 协议将指标从 Telegraf 发送到 Thanos，从而实现高效且可扩展地摄取到 Thanos Receive 组件中。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub（一种消息传递服务，有助于不同系统之间的实时通信）摄取指标。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行，主动监听传入消息，而不是仅仅以设定的时间间隔轮询指标。通过各种配置选项，用户可以自定义消息摄取的行为，例如处理凭据、管理消息大小以及调整确认设置，以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势，此插件与云原生架构无缝集成，使用户能够构建强大且可扩展的应用程序，这些应用程序可以实时响应事件。

Thanos

Telegraf 的 HTTP 插件可以通过其 Remote Write 兼容的 Receive 组件将指标直接发送到 Thanos。通过将数据格式设置为 prometheusremotewrite，Telegraf 可以将指标序列化为本机 Prometheus 客户端使用的相同基于 protobuf 的格式。此设置支持高吞吐量、低延迟的指标摄取到 Thanos 中，从而实现大规模的集中式可观测性。在混合环境中，Telegraf 从 Prometheus 本机范围之外的系统（例如 SNMP 设备、Windows 主机或自定义应用程序）收集指标，并将它们直接流式传输到 Thanos 以进行长期存储和全局查询时，此设置尤其有用。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Thanos

[[outputs.http]]
  ## Thanos Receive endpoint for remote write
  url = "http://thanos-receive.example.com/api/v1/receive"

  ## HTTP method
  method = "POST"

  ## Data format set to Prometheus remote write
  data_format = "prometheusremotewrite"

  ## Optional headers (authorization, etc.)
  # [outputs.http.headers]
  #   Authorization = "Bearer YOUR_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Google Cloud PubSub

1. 物联网设备的实时分析：利用 Google Cloud PubSub 插件聚合来自分布在各个位置的物联网设备的指标。通过将设备数据流式传输到 Google PubSub 并使用此插件摄取指标，组织可以创建集中式仪表板以进行实时监控和警报。此设置允许立即洞察设备性能，从而促进主动维护和运营效率。

2. 动态日志处理和监控：通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中，利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式，并简化跨分布式系统的问题故障排除过程。通过整合日志数据，组织可以增强其可观测性和响应能力。

3. 事件驱动的工作流集成：使用 Google Cloud PubSub 插件连接各种云功能或服务。每次有新消息推送到订阅时，都可以在云架构的其他部分触发操作，例如启动数据处理作业、通知，甚至更新报告。这种事件驱动的方法允许构建更具响应性的系统架构，可以适应不断变化的业务需求。

Thanos

1. 无代理云监控：在云虚拟机上部署 Telegraf 代理以收集系统和应用程序指标，然后使用 Remote Write 将它们直接流式传输到 Thanos。这提供了集中式可观测性，而无需在每个位置都部署 Prometheus 节点。

2. 可扩展的 Windows 主机监控：在 Windows 机器上使用 Telegraf 收集操作系统级别的指标，并通过 Remote Write 将它们发送到 Thanos Receive。这实现了跨异构环境的可观测性，而 Prometheus 仅在本机支持 Linux。

3. 跨区域指标联合：多个地理区域中的 Telegraf 代理可以使用此插件将数据推送到区域本地的 Thanos Receivers。从那里，Thanos 可以全局去重和查询指标，从而降低延迟和网络出口成本。

4. 将第三方数据集成到 Thanos 中：使用 Telegraf 输入从自定义遥测源（例如 REST API 或专有日志）收集指标，并通过 Remote Write 将它们转发到 Thanos。这会将非原生数据引入 Prometheus 兼容的长期分析管道中。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提供意见。请在 InfluxDB 社区 Slack 中提交您的反馈。