Google Cloud PubSub 和 Graylog 集成

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标，从而可以进行实时数据处理并集成到监控设置中。

Graylog 插件允许您将 Telegraf 指标发送到 Graylog 服务器，利用 GELF 格式进行结构化日志记录。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标，Google Cloud PubSub 是一种消息传递服务，有助于不同系统之间的实时通信。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行，主动侦听传入的消息，而不是仅仅以设定的时间间隔轮询指标。通过各种配置选项，用户可以自定义消息摄取的行为，例如处理凭据、管理消息大小以及调整确认设置，以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势，此插件与云原生架构无缝集成，使用户能够构建强大且可扩展的应用程序，这些应用程序可以实时响应事件。

Graylog

Graylog 插件旨在用于使用 GELF（Graylog 扩展日志格式）格式将指标发送到 Graylog 实例。GELF 有助于标准化日志记录数据，使系统更轻松地发送和分析日志。该插件符合 GELF 规范，该规范规定了有效负载内特定字段的要求。值得注意的是，时间戳必须采用 UNIX 格式，如果存在，插件会将时间戳原样发送到 Graylog，而不会进行更改。如果省略，它会自动生成时间戳。此外，规范中未明确定义的任何额外字段都将以一个下划线作为前缀，这有助于保持数据井井有条并符合 GELF 的要求。此功能对于实时监控应用程序和基础设施的用户尤其有价值，因为它允许跨多个系统进行无缝集成和改进的可视性。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Graylog

[[outputs.graylog]]
  ## Endpoints for your graylog instances.
  servers = ["udp://127.0.0.1:12201"]

  ## Connection timeout.
  # timeout = "5s"

  ## The field to use as the GELF short_message, if unset the static string
  ## "telegraf" will be used.
  ##   example: short_message_field = "message"
  # short_message_field = ""

  ## According to GELF payload specification, additional fields names must be prefixed
  ## with an underscore. Previous versions did not prefix custom field 'name' with underscore.
  ## Set to true for backward compatibility.
  # name_field_no_prefix = false

  ## Connection retry options
  ## Attempt to connect to the endpoints if the initial connection fails.
  ## If 'false', Telegraf will give up after 3 connection attempt and will
  ## exit with an error. If set to 'true', the plugin will retry to connect
  ## to the unconnected endpoints infinitely.
  # connection_retry = false
  ## Time to wait between connection retry attempts.
  # connection_retry_wait_time = "15s"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

输入和输出集成示例

Google Cloud PubSub

1. 物联网设备的实时分析：利用 Google Cloud PubSub 插件聚合来自分散在各个位置的物联网设备的指标。通过将来自设备的数据流式传输到 Google PubSub 并使用此插件摄取指标，组织可以创建一个集中式仪表板，用于实时监控和警报。此设置允许立即洞察设备性能，从而促进主动维护和运营效率。

2. 动态日志处理和监控：通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中，利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式，并简化跨分布式系统的问题排查过程。通过整合日志数据，组织可以增强其可观察性和响应能力。

3. 事件驱动的工作流集成：使用 Google Cloud PubSub 插件连接各种云函数或服务。每次有新消息推送到订阅时，都可以在云架构的其他部分触发操作，例如启动数据处理作业、通知，甚至报告更新。这种事件驱动的方法允许构建更具响应性的系统架构，可以适应不断变化的业务需求。

Graylog

1. 增强云应用程序的日志管理：使用 Graylog Telegraf 插件聚合来自跨多个服务器云部署的应用程序的日志。通过集成此插件，团队可以集中日志记录数据，从而更轻松地排查问题、监控应用程序性能并保持符合日志记录标准。

2. 实时安全监控：利用 Graylog 插件收集安全相关的指标和日志，并将它们发送到 Graylog 服务器以进行实时分析。这使安全团队能够通过关联基础设施内各种来源的日志，快速识别异常、跟踪潜在的漏洞并及时响应事件。

3. 动态警报和通知系统：实施 Graylog 插件以增强基础设施中的警报机制。通过将指标发送到 Graylog，团队可以根据日志模式或意外行为设置动态警报，从而实现主动监控和快速事件响应策略。

4. 跨平台日志整合：使用 Graylog 插件促进跨不同环境（如本地、混合和云）的跨平台日志整合。通过以 GELF 格式标准化日志记录，组织可以确保一致的监控和故障排除实践，无论其服务托管在哪里。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现任何错误，我们欢迎并鼓励您提供意见。请在InfluxDB 社区 Slack中提交您的反馈。