Google Cloud PubSub 和 Redis 集成

强大的性能和简单的集成,由 Telegraf 驱动,Telegraf 是 InfluxData 构建的开源数据连接器。

info

这不是大规模实时查询的推荐配置。为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud PubSub 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标,从而可以进行实时数据处理并集成到监控设置中。

Redis 插件使用户能够将 Telegraf 收集的指标直接发送到 Redis。此集成非常适合需要强大的时序数据存储和分析的应用程序。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标,Google Cloud PubSub 是一种消息服务,可促进不同系统之间的实时通信。它允许用户通过从 Google Cloud Project 中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行,主动监听传入消息,而不是仅以设定的间隔轮询指标。通过各种配置选项,用户可以自定义消息摄取的行为,例如处理凭据、管理消息大小以及调整确认设置,以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势,此插件与云原生架构无缝集成,使用户能够构建强大且可扩展的应用程序,这些应用程序可以实时响应事件。

Redis

Redis Telegraf 插件专为将指标写入 RedisTimeSeries 而设计,RedisTimeSeries 是一个用于时序数据的专用 Redis 数据库模块。此插件促进了 Telegraf 与 RedisTimeSeries 的集成,从而可以高效地存储和检索带时间戳的数据。借助 RedisTimeSeries,用户可以利用增强的功能来管理时序数据,包括聚合视图和范围查询。该插件提供了各种配置选项,以实现安全连接到您的 Redis 数据库所需的灵活性,包括对身份验证、超时、数据类型转换和 TLS 配置的支持。底层技术利用了 Redis 的效率和可扩展性,使其成为高容量指标环境的绝佳选择,在这些环境中,实时处理至关重要。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Redis

[[outputs.redistimeseries]]
  ## The address of the RedisTimeSeries server.
  address = "127.0.0.1:6379"

  ## Redis ACL credentials
  # username = ""
  # password = ""
  # database = 0

  ## Timeout for operations such as ping or sending metrics
  # timeout = "10s"

  ## Enable attempt to convert string fields to numeric values
  ## If "false" or in case the string value cannot be converted the string
  ## field will be dropped.
  # convert_string_fields = true

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  # insecure_skip_verify = false

输入和输出集成示例

Google Cloud PubSub

  1. 物联网设备的实时分析:利用 Google Cloud PubSub 插件聚合来自分布在各个位置的物联网设备的指标。通过将来自设备的数据流式传输到 Google PubSub 并使用此插件摄取指标,组织可以创建一个集中式仪表板,用于实时监控和警报。此设置可以立即深入了解设备性能,从而促进主动维护和运营效率。

  2. 动态日志处理和监控:通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中,利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式,并简化跨分布式系统的问题排查过程。通过整合日志数据,组织可以增强其可观察性和响应能力。

  3. 事件驱动的工作流集成:使用 Google Cloud PubSub 插件连接各种云函数或服务。每次将新消息推送到订阅时,都可以在云架构的其他部分触发操作,例如启动数据处理作业、通知,甚至报告更新。这种事件驱动的方法允许构建更具响应性的系统架构,可以适应不断变化的业务需求。

Redis

  1. 监控物联网传感器数据:利用 Redis Telegraf 插件实时收集和存储来自物联网传感器的数据。通过将插件连接到 RedisTimeSeries 数据库,用户可以分析温度、湿度或其他环境因素的趋势。有效查询历史传感器数据的能力将有助于预测性维护并帮助进行资源管理。

  2. 金融市场数据聚合:使用此插件跟踪和存储来自各种来源的时间敏感型金融数据。通过将指标发送到 Redis,金融机构可以聚合和分析市场趋势或价格随时间的变化,从而为他们提供从可靠的时序分析中获得的可操作见解。

  3. 应用程序性能监控 (APM):实施 Redis 插件以收集应用程序性能指标,例如响应时间和 CPU 使用率。用户可以使用 RedisTimeSeries 可视化其应用程序随时间的性能,从而使他们能够快速识别瓶颈并优化资源分配。

  4. 能源消耗跟踪:利用此插件来监控建筑物随时间的能源使用情况。通过与智能电表集成并将数据发送到 RedisTimeSeries,市政当局或企业可以分析能源消耗模式,从而帮助实施节能措施和可持续发展实践。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它会更有价值。InfluxDB 是排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成