Google Cloud PubSub 和 MongoDB 集成

通过 Telegraf(InfluxData 构建的开源数据连接器)提供支持,实现强大的性能和简单的集成。

info

这不是大规模实时查询的推荐配置。 为了获得查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud PubSub 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它都更有价值。 借助 InfluxDB,第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标,从而实现实时数据处理和集成到监控设置中。

MongoDB Telegraf 插件使用户能够将指标发送到 MongoDB 数据库,自动管理时间序列集合。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标,Google Cloud PubSub 是一种消息传递服务,有助于不同系统之间的实时通信。 它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。 此插件的关键功能之一是它能够作为服务输入运行,主动侦听传入消息,而不是仅以设定的时间间隔轮询指标。 通过各种配置选项,用户可以自定义消息摄取的行为,例如处理凭据、管理消息大小以及调整确认设置,以确保仅在成功处理后才确认消息。 通过利用 Google PubSub 的优势,此插件与云原生架构无缝集成,使用户能够构建强大且可扩展的应用程序,这些应用程序可以实时响应事件。

MongoDB

此插件将指标发送到 MongoDB,并与其时间序列功能无缝集成,从而允许在时间序列集合尚不存在时自动创建它们。 它需要 MongoDB 5.0 或更高版本才能利用时间序列集合功能,这对于高效存储和查询基于时间的数据至关重要。 此插件通过确保所有相关指标都正确存储和组织在 MongoDB 中来增强监控功能,从而为用户提供利用 MongoDB 强大的查询和聚合功能进行时间序列分析的能力。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

MongoDB

[[outputs.mongodb]]
              # connection string examples for mongodb
              dsn = "mongodb://localhost:27017"
              # dsn = "mongodb://mongod1:27017,mongod2:27017,mongod3:27017/admin&replicaSet=myReplSet&w=1"

              # overrides serverSelectionTimeoutMS in dsn if set
              # timeout = "30s"

              # default authentication, optional
              # authentication = "NONE"

              # for SCRAM-SHA-256 authentication
              # authentication = "SCRAM"
              # username = "root"
              # password = "***"

              # for x509 certificate authentication
              # authentication = "X509"
              # tls_ca = "ca.pem"
              # tls_key = "client.pem"
              # # tls_key_pwd = "changeme" # required for encrypted tls_key
              # insecure_skip_verify = false

              # database to store measurements and time series collections
              # database = "telegraf"

              # granularity can be seconds, minutes, or hours.
              # configuring this value will be based on your input collection frequency.
              # see https://docs.mongodb.com/manual/core/timeseries-collections/#create-a-time-series-collection
              # granularity = "seconds"

              # optionally set a TTL to automatically expire documents from the measurement collections.
              # ttl = "360h"

输入和输出集成示例

Google Cloud PubSub

  1. 物联网设备的实时分析:利用 Google Cloud PubSub 插件聚合来自分布在各个位置的物联网设备的指标。 通过将来自设备的数据流式传输到 Google PubSub 并使用此插件摄取指标,组织可以创建一个集中式仪表板,用于实时监控和警报。 此设置允许立即洞察设备性能,从而促进主动维护和运营效率。

  2. 动态日志处理和监控:通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中,利用该插件来解析和分析日志消息。 这可以帮助团队快速识别日志中的异常或模式,并简化跨分布式系统的问题故障排除过程。 通过整合日志数据,组织可以增强其可观察性和响应能力。

  3. 事件驱动的工作流程集成:使用 Google Cloud PubSub 插件连接各种云功能或服务。 每次新消息被推送到订阅时,都可以在云架构的其他部分触发操作,例如启动数据处理作业、通知,甚至报告更新。 这种事件驱动的方法允许构建更具反应性的系统架构,可以适应不断变化的业务需求。

MongoDB

  1. 物联网设备的动态日志记录到 MongoDB:利用此插件实时收集和存储来自大量物联网设备的指标。 通过将设备日志直接发送到 MongoDB,您可以创建一个集中式数据库,从而可以轻松访问和查询健康指标和性能数据,从而根据历史趋势实现主动维护和故障排除。

  2. Web 流量的时间序列分析:使用 MongoDB Telegraf 插件收集和分析随时间变化的 Web 流量指标。 此应用程序可以帮助您了解高峰使用时间、用户交互和行为模式,从而指导营销策略和基础设施扩展决策,以改善用户体验。

  3. 自动化监控和警报系统:将 MongoDB 插件集成到跟踪应用程序性能指标的自动化监控系统中。 借助时间序列集合,您可以根据特定阈值设置警报,使您的团队能够在潜在问题影响用户之前做出响应。 这种主动管理可以提高服务可靠性和整体性能。

  4. 指标存储中的数据保留和 TTL 管理:利用 MongoDB 集合中文档的 TTL 功能自动过期过时的指标。 这对于仅最近的性能数据相关的环境尤其有用,可防止您的 MongoDB 数据库被旧指标搞乱,并确保高效的数据管理。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它都更有价值。 借助 InfluxDB,第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并为可靠的消息处理提供 DynamoDB 的检查点功能。

查看集成