Google Cloud PubSub 和 Cortex 集成

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标，从而实现实时数据处理和集成到监控设置中。

此插件使 Telegraf 能够使用 Prometheus remote write 协议将指标发送到 Cortex，从而实现无缝摄取到 Cortex 的可扩展、多租户时间序列存储中。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标，Google Cloud PubSub 是一种消息服务，可促进不同系统之间的实时通信。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是其作为服务输入运行的能力，主动监听传入消息，而不是仅仅按设定的时间间隔轮询指标。通过各种配置选项，用户可以自定义消息摄取的行为，例如处理凭据、管理消息大小以及调整确认设置，以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势，此插件与云原生架构无缝集成，使用户能够构建强大且可扩展的应用程序，这些应用程序可以实时响应事件。

Cortex

借助 Telegraf 的 HTTP 输出插件和 prometheusremotewrite 数据格式，您可以将指标直接发送到 Cortex，Cortex 是 Prometheus 的水平可扩展长期存储后端。Cortex 支持多租户，并使用 Prometheus protobuf 格式接受远程写入请求。通过使用 Telegraf 作为收集代理和 Remote Write 作为传输机制，组织可以将可观测性扩展到 Prometheus 本身不支持的来源（例如 Windows 主机、支持 SNMP 的设备或自定义应用程序指标），同时利用 Cortex 的高可用性和长期保留能力。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Cortex

[[outputs.http]]
  ## Cortex Remote Write endpoint
  url = "http://cortex.example.com/api/v1/push"

  ## Use POST to send data
  method = "POST"

  ## Send metrics using Prometheus remote write format
  data_format = "prometheusremotewrite"

  ## Optional HTTP headers for authentication
  # [outputs.http.headers]
  #   X-Scope-OrgID = "your-tenant-id"
  #   Authorization = "Bearer YOUR_API_TOKEN"

  ## Optional TLS configuration
  # tls_ca = "/path/to/ca.pem"
  # tls_cert = "/path/to/cert.pem"
  # tls_key = "/path/to/key.pem"
  # insecure_skip_verify = false

  ## Request timeout
  timeout = "10s"

输入和输出集成示例

Google Cloud PubSub

1. 物联网设备的实时分析：利用 Google Cloud PubSub 插件聚合来自分散在各个位置的物联网设备的指标。通过将来自设备的数据流式传输到 Google PubSub 并使用此插件来摄取指标，组织可以创建一个集中式仪表板，用于实时监控和警报。这种设置可以立即深入了解设备性能，从而促进主动维护和运营效率。

2. 动态日志处理和监控：通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中，利用该插件来解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式，并简化跨分布式系统的问题排查过程。通过整合日志数据，组织可以增强其可观测性和响应能力。

3. 事件驱动的工作流集成：使用 Google Cloud PubSub 插件连接各种云功能或服务。每当新消息推送到订阅时，都可以在云架构的其他部分触发操作，例如启动数据处理作业、通知，甚至更新报告。这种事件驱动的方法允许构建更具响应性的系统架构，该架构可以适应不断变化的业务需求。

Cortex

1. 统一的多租户监控：使用 Telegraf 从不同的团队或环境收集指标，并将它们推送到带有单独 X-Scope-OrgID 标头的 Cortex。这实现了每个租户的隔离数据摄取和查询，非常适合托管服务和平台团队。

2. 将 Prometheus 覆盖范围扩展到边缘设备：在边缘或物联网设备上部署 Telegraf 以收集系统指标并将它们发送到集中式 Cortex 集群。即使对于没有本地 Prometheus Scraper 的环境，这种方法也能确保一致的可观测性。

3. 具有联合租户的全球服务可观测性：通过配置 Telegraf 代理将数据推送到区域 Cortex 集群（每个集群都标记有租户标识符）来聚合来自全球基础设施的指标。Cortex 处理跨区域的重复数据删除和集中式访问。

4. 自定义应用程序遥测管道：通过 Telegraf 的 exec 或 http 输入插件收集特定于应用程序的遥测数据，并将其转发到 Cortex。这使 DevOps 团队能够以可扩展、查询高效的格式监控特定于应用程序的 KPI，同时保持指标在逻辑上按租户或服务分组。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。