Webhooks 和 Google BigQuery 集成

强大的性能和简单的集成,由 Telegraf 和 InfluxData 构建的开源数据连接器驱动。

info

这不是大规模实时查询的推荐配置。 为了优化查询和压缩、高速摄取和高可用性,您可能需要考虑 Webhooks 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都会更有价值。 使用 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Webhooks 插件允许 Telegraf 通过 Webhook 接收和处理来自各种外部服务的 HTTP 请求。 此插件使用户能够收集实时指标和事件,并将它们集成到他们的监控解决方案中。

Google BigQuery 插件允许 Telegraf 将指标写入 Google Cloud BigQuery,从而为遥测数据提供强大的数据分析功能。

集成详情

Webhook

此 Telegraf 插件旨在通过启动一个 HTTP 服务器来充当 Webhook 监听器,该服务器注册多个 Webhook 端点。 它提供了一种通过捕获发送到定义路径的 HTTP 请求来收集来自各种服务的事件的方法。 每个服务都可以配置其特定的身份验证详细信息和请求处理选项。 该插件的突出之处在于它允许与任何 Telegraf 输出插件集成,使其在事件驱动的架构中具有通用性。 通过实现事件的有效接收,它为实时监控和响应系统开辟了可能性,这对于需要即时事件处理和处理的现代应用程序至关重要。

Google BigQuery

Telegraf 的 Google BigQuery 插件实现了与 Google Cloud 的 BigQuery 服务的无缝集成,BigQuery 服务是一个流行的数据仓库和分析平台。 此插件有助于将 Telegraf 收集的指标传输到 BigQuery 数据集中,从而使用户可以更轻松地执行分析并从其遥测数据中生成见解。 它需要通过服务帐户或用户凭据进行身份验证,并且旨在处理各种数据类型,确保用户在将指标存储在 BigQuery 表中时可以保持其指标的完整性和准确性。 配置选项允许围绕数据集规范和处理指标进行自定义,包括管理指标名称中的连字符,BigQuery 的流式插入不支持连字符。 对于利用 BigQuery 的可扩展性和强大的查询功能来分析大量监控数据的组织来说,此插件特别有用。

配置

Webhook

[[inputs.webhooks]]
  ## Address and port to host Webhook listener on
  service_address = ":1619"

  ## Maximum duration before timing out read of the request
  # read_timeout = "10s"
  ## Maximum duration before timing out write of the response
  # write_timeout = "10s"

  [inputs.webhooks.filestack]
    path = "/filestack"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.github]
    path = "/github"
    # secret = ""

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.mandrill]
    path = "/mandrill"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.rollbar]
    path = "/rollbar"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.papertrail]
    path = "/papertrail"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.particle]
    path = "/particle"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.artifactory]
    path = "/artifactory"

Google BigQuery

# Configuration for Google Cloud BigQuery to send entries
[[outputs.bigquery]]
  ## Credentials File
  credentials_file = "/path/to/service/account/key.json"

  ## Google Cloud Platform Project
  # project = ""

  ## The namespace for the metric descriptor
  dataset = "telegraf"

  ## Timeout for BigQuery operations.
  # timeout = "5s"

  ## Character to replace hyphens on Metric name
  # replace_hyphen_to = "_"

  ## Write all metrics in a single compact table
  # compact_table = ""
  

输入和输出集成示例

Webhook

  1. 来自 Github 的实时通知:将 Webhooks 输入插件与 Github 集成,以接收有关事件(例如拉取请求、提交和问题)的实时通知。 这使开发团队可以立即监控其存储库中的关键更改和更新,从而改善协作和响应时间。

  2. 使用 Rollbar 进行自动警报:使用此插件监听 Rollbar 报告的错误,使团队能够快速响应生产中的错误和问题。 通过将这些警报转发到集中式监控系统,团队可以根据严重程度确定响应的优先级,并防止停机时间升级。

  3. 来自 Filestack 的性能监控:捕获来自 Filestack 的事件以跟踪文件上传、转换和错误。 此设置有助于企业了解用户与文件管理流程的交互、优化工作流程并确保文件服务的高可用性。

  4. 使用 Papertrail 进行集中式日志记录:通过 Webhook 关联发送到 Papertrail 的所有日志,使您可以整合日志记录策略。 通过实时日志转发,团队可以有效地分析趋势和异常,确保他们保持对关键操作的可见性。

Google BigQuery

  1. 实时分析仪表板:利用 Google BigQuery 插件将实时指标馈送到托管在 Google Cloud 上的自定义分析仪表板中。 此设置将使团队能够实时可视化性能数据,从而深入了解系统运行状况和使用模式。 通过使用 BigQuery 的查询功能,用户可以轻松创建量身定制的报告和仪表板以满足他们的特定需求,从而增强决策过程。

  2. 成本管理和优化分析:利用此插件自动将来自各种服务的成本相关指标发送到 BigQuery。 分析此数据可以帮助企业识别不必要的费用并优化资源使用率。 通过在 BigQuery 中执行聚合和转换查询,组织可以创建准确的预测并有效地管理其云支出。

  3. 跨团队监控数据协作:使组织内不同的团队能够使用 BigQuery 共享其监控数据。 借助此 Telegraf 插件,团队可以将他们的指标推送到中央 BigQuery 实例,从而促进协作。 这种数据共享方法鼓励最佳实践和跨职能意识,从而共同改进系统性能和可靠性。

  4. 用于容量规划的历史分析:通过使用 BigQuery 插件,公司可以收集和存储对容量规划至关重要的历史指标数据。 分析随时间变化的趋势可以帮助预测系统需求并主动扩展基础设施。 组织可以创建时序分析并识别为他们的长期战略决策提供信息的模式。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它都会更有价值。 使用 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成