Google Cloud PubSub 和 Loki 集成

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标，从而可以进行实时数据处理和集成到监控设置中。

Loki 插件允许用户将日志发送到 Loki 以进行聚合和查询，从而利用 Loki 的高效存储功能。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标，Google Cloud PubSub 是一种消息服务，可促进不同系统之间的实时通信。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行，主动侦听传入消息，而不是仅仅以设定的时间间隔轮询指标。通过各种配置选项，用户可以自定义消息摄取的行为，例如处理凭据、管理消息大小以及调整确认设置，以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势，此插件与云原生架构无缝集成，使用户能够构建强大且可扩展的应用程序，这些应用程序可以实时响应事件。

Loki

此 Loki 插件与 Grafana Loki 集成，Grafana Loki 是一个强大的日志聚合系统。通过以与 Loki 兼容的格式发送日志，此插件可以高效地存储和查询日志。每个日志条目都以键值格式结构化，其中键表示字段名称，值表示相应的日志信息。按时间戳对日志进行排序可确保通过 Loki 查询时，日志流保持时间顺序。此插件对 secret 的支持使安全管理身份验证参数变得更加容易，而 HTTP 标头、gzip 编码和 TLS 配置选项增强了日志传输的适应性和安全性，从而满足各种部署需求。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Loki

[[outputs.loki]]
  ## The domain of Loki
  domain = "https://loki.domain.tld"

  ## Endpoint to write api
  # endpoint = "/loki/api/v1/push"

  ## Connection timeout, defaults to "5s" if not set.
  # timeout = "5s"

  ## Basic auth credential
  # username = "loki"
  # password = "pass"

  ## Additional HTTP headers
  # http_headers = {"X-Scope-OrgID" = "1"}

  ## If the request must be gzip encoded
  # gzip_request = false

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"

  ## Sanitize Tag Names
  ## If true, all tag names will have invalid characters replaced with
  ## underscores that do not match the regex: ^[a-zA-Z_:][a-zA-Z0-9_:]*.
  # sanitize_label_names = false

  ## Metric Name Label
  ## Label to use for the metric name to when sending metrics. If set to an
  ## empty string, this will not add the label. This is NOT suggested as there
  ## is no way to differentiate between multiple metrics.
  # metric_name_label = "__name"

输入和输出集成示例

Google Cloud PubSub

1. 物联网设备的实时分析：利用 Google Cloud PubSub 插件聚合来自分布在各个位置的物联网设备的指标。通过将来自设备的数据流式传输到 Google PubSub 并使用此插件摄取指标，组织可以创建一个集中式仪表板，用于实时监控和警报。此设置可以立即深入了解设备性能，从而促进主动维护和运营效率。

2. 动态日志处理和监控：通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中，利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式，并简化跨分布式系统的问题故障排除过程。通过整合日志数据，组织可以增强其可观察性和响应能力。

3. 事件驱动的工作流集成：使用 Google Cloud PubSub 插件连接各种云功能或服务。每次将新消息推送到订阅时，都可以在云架构的其他部分触发操作，例如启动数据处理作业、通知，甚至更新报告。这种事件驱动的方法允许构建更具反应性的系统架构，可以适应不断变化的业务需求。

Loki

1. 微服务的集中日志记录：利用 Loki 插件收集来自 Kubernetes 集群中运行的多个微服务的日志。通过将日志定向到集中的 Loki 实例，开发人员可以在一个位置监控、搜索和分析来自所有服务的日志，从而简化故障排除和性能监控。此设置简化了运营，并支持对分布式应用程序中的问题做出快速响应。

2. 实时日志异常检测：将 Loki 与监控工具结合使用，以实时分析日志输出中可能表明系统错误或安全威胁的异常模式。在日志流上实施异常检测使团队能够主动识别和响应事件，从而提高系统可靠性并增强安全态势。

3. 通过 Gzip 压缩增强日志处理：配置 Loki 插件以利用 gzip 压缩进行日志传输。这种方法可以减少带宽使用并提高传输速度，尤其是在网络带宽可能受到限制的环境中非常有利。它对于高容量日志记录应用程序特别有用，在这些应用程序中，每个字节都很重要，并且性能至关重要。

4. 通过自定义标头支持多租户：利用添加自定义 HTTP 标头的功能来隔离来自多租户应用程序环境中不同租户的日志。通过使用 Loki 插件为每个租户发送不同的标头，运营商可以确保正确的日志管理并符合数据隔离要求，使其成为 SaaS 应用程序的通用解决方案。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现任何错误，我们欢迎并鼓励您提供意见。请在 InfluxDB 社区 Slack 中提交您的反馈。