Google Cloud PubSub 和 New Relic 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Google Cloud PubSub 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标,从而可以进行实时数据处理并集成到监控设置中。

此插件允许使用 Metrics API 将指标发送到 New Relic Insights,从而可以有效地监控和分析应用程序性能。

集成详情

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标,Google Cloud PubSub 是一种消息传递服务,可促进不同系统之间的实时通信。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行,主动侦听传入消息,而不是仅仅以设定的时间间隔轮询指标。通过各种配置选项,用户可以自定义消息摄取的行为,例如处理凭据、管理消息大小以及调整确认设置,以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势,此插件与云原生架构无缝集成,使用户能够构建强大且可扩展的应用程序,这些应用程序可以实时响应事件。

New Relic

此插件使用 Metrics API 将指标写入 New Relic Insights,Metrics API 提供了一种将时间序列数据发送到 New Relic 平台的强大机制。用户必须首先获取 Insights API 密钥才能对其数据提交进行身份验证和授权。该插件旨在促进与 New Relic 监控和分析功能的轻松集成,支持各种指标类型并允许高效的数据处理。核心功能包括为指标添加前缀以更好地识别、API 请求的可自定义超时以及对代理设置的支持以增强连接性。用户必须根据其要求配置这些选项,以实现数据无缝流入 New Relic,从而进行全面的实时分析和洞察。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

New Relic

[[outputs.newrelic]]
  ## The 'insights_key' parameter requires a NR license key.
  ## New Relic recommends you create one
  ## with a convenient name such as TELEGRAF_INSERT_KEY.
  ## reference: https://docs.newrelic.com/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key
  # insights_key = "New Relic License Key Here"

  ## Prefix to add to add to metric name for easy identification.
  ## This is very useful if your metric names are ambiguous.
  # metric_prefix = ""

  ## Timeout for writes to the New Relic API.
  # timeout = "15s"

  ## HTTP Proxy override. If unset use values from the standard
  ## proxy environment variables to determine proxy, if any.
  # http_proxy = "http://corporate.proxy:3128"

  ## Metric URL override to enable geographic location endpoints.
  # If not set use values from the standard
  # metric_url = "https://metric-api.newrelic.com/metric/v1"

输入和输出集成示例

Google Cloud PubSub

  1. 物联网设备实时分析:利用 Google Cloud PubSub 插件聚合来自分散在各个位置的物联网设备的指标。通过将来自设备的数据流式传输到 Google PubSub 并使用此插件摄取指标,组织可以创建一个集中式仪表板,用于实时监控和警报。此设置允许立即洞察设备性能,从而促进主动维护和运营效率。

  2. 动态日志处理和监控:通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中,利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式,并简化跨分布式系统的问题排查过程。通过整合日志数据,组织可以增强其可观察性和响应能力。

  3. 事件驱动的工作流集成:使用 Google Cloud PubSub 插件连接各种云功能或服务。每当新消息推送到订阅时,都可以在云架构的其他部分触发操作,例如启动数据处理作业、通知,甚至报告更新。这种事件驱动的方法允许构建更具响应性的系统架构,从而适应不断变化的业务需求。

New Relic

  1. 应用程序性能监控:使用 New Relic Telegraf 插件将来自 Web 服务的应用程序性能指标发送到 New Relic Insights。通过集成此插件,开发人员可以收集响应时间、错误率和吞吐量等数据,使团队能够实时监控应用程序运行状况,并在问题影响用户之前快速解决问题。此设置可促进应用程序性能和用户体验的主动管理。

  2. 基础设施指标聚合:利用此插件聚合来自各种服务器的系统级指标(CPU 使用率、内存消耗等)并将其发送到 New Relic。这有助于系统管理员维护基础设施性能的全面视图,从而促进容量规划并识别潜在瓶颈。通过将指标集中在 New Relic 中,团队可以可视化随时间变化的趋势,并就资源分配做出明智的决策。

  3. 多租户应用程序的动态指标命名:使用 metric_prefix 选项实现动态前缀,以区分多租户应用程序中的不同租户。通过配置插件以在指标名称中包含每个租户的唯一标识符,团队可以分析每个租户的使用模式和性能指标。这提供了对租户行为的宝贵见解,支持定制优化并提高不同客户群的服务质量。

  4. 实时异常检测:将 New Relic 插件与警报机制结合使用,以根据异常指标模式触发通知。通过发送请求计数和响应时间等指标,团队可以在 New Relic 中设置阈值,当超出阈值时,将自动向责任方发出警报。这种用户驱动的方法支持对潜在问题做出立即响应,以防止问题升级为更大的事件。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。InfluxDB 是排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供与 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成