Webhooks 和 TimescaleDB 集成

强大的性能和简单的集成,由 Telegraf 提供支持,Telegraf 是 InfluxData 构建的开源数据连接器。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Webhooks 和 InfluxDB。

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将其视为时序数据时,任何数据都更有价值。 使用 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Webhooks 插件允许 Telegraf 通过 webhooks 接收和处理来自各种外部服务的 HTTP 请求。 此插件使用户能够收集实时指标和事件,并将它们集成到其监控解决方案中。

此输出插件提供了一种可靠且高效的机制,用于将 Telegraf 收集的指标直接路由到 TimescaleDB。 通过利用 PostgreSQL 强大的生态系统以及 TimescaleDB 的时序优化,它支持高性能数据摄取和高级查询功能。

集成详情

Webhooks

此 Telegraf 插件旨在充当 webhook 监听器,通过启动一个 HTTP 服务器来注册多个 webhook 端点。 它提供了一种通过捕获发送到定义路径的 HTTP 请求来收集来自各种服务事件的方法。 每个服务都可以配置其特定的身份验证详细信息和请求处理选项。 该插件的突出之处在于允许与任何 Telegraf 输出插件集成,使其在事件驱动型架构中用途广泛。 通过实现高效的事件接收,它为实时监控和响应系统开辟了可能性,这对于需要即时事件处理和处理的现代应用程序至关重要。

TimescaleDB

TimescaleDB 是一个开源时序数据库,作为 PostgreSQL 的扩展构建,旨在高效处理大规模、面向时间的数据。 TimescaleDB 于 2017 年推出,是为了响应对强大、可扩展解决方案日益增长的需求,该解决方案可以管理具有高插入速率和复杂查询的海量数据。 通过利用 PostgreSQL 熟悉的 SQL 接口并使用专门的时序功能对其进行增强,TimescaleDB 迅速在希望将时序功能集成到现有关系数据库中的开发人员中普及。 它的混合方法允许用户受益于 PostgreSQL 的灵活性、可靠性和生态系统,同时为时序数据提供优化的性能。

该数据库在需要快速摄取数据点以及对历史时期进行复杂分析查询的环境中尤其有效。 TimescaleDB 具有许多创新功能,如超表,可将数据透明地划分为可管理的块,以及内置的连续聚合。 这些功能可以显着提高查询速度和资源效率。

配置

Webhooks

[[inputs.webhooks]]
  ## Address and port to host Webhook listener on
  service_address = ":1619"

  ## Maximum duration before timing out read of the request
  # read_timeout = "10s"
  ## Maximum duration before timing out write of the response
  # write_timeout = "10s"

  [inputs.webhooks.filestack]
    path = "/filestack"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.github]
    path = "/github"
    # secret = ""

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.mandrill]
    path = "/mandrill"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.rollbar]
    path = "/rollbar"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.papertrail]
    path = "/papertrail"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.particle]
    path = "/particle"

    ## HTTP basic auth
    #username = ""
    #password = ""

  [inputs.webhooks.artifactory]
    path = "/artifactory"

TimescaleDB

# Publishes metrics to a TimescaleDB database
[[outputs.postgresql]]
  ## Specify connection address via the standard libpq connection string:
  ##   host=... user=... password=... sslmode=... dbname=...
  ## Or a URL:
  ##   postgres://[user[:password]]@localhost[/dbname]?sslmode=[disable|verify-ca|verify-full]
  ## See https://postgresql.ac.cn/docs/current/libpq-connect.html#LIBPQ-CONNSTRING
  ##
  ## All connection parameters are optional. Environment vars are also supported.
  ## e.g. PGPASSWORD, PGHOST, PGUSER, PGDATABASE
  ## All supported vars can be found here:
  ##  https://postgresql.ac.cn/docs/current/libpq-envars.html
  ##
  ## Non-standard parameters:
  ##   pool_max_conns (default: 1) - Maximum size of connection pool for parallel (per-batch per-table) inserts.
  ##   pool_min_conns (default: 0) - Minimum size of connection pool.
  ##   pool_max_conn_lifetime (default: 0s) - Maximum connection age before closing.
  ##   pool_max_conn_idle_time (default: 0s) - Maximum idle time of a connection before closing.
  ##   pool_health_check_period (default: 0s) - Duration between health checks on idle connections.
  # connection = ""

  ## Postgres schema to use.
  # schema = "public"

  ## Store tags as foreign keys in the metrics table. Default is false.
  # tags_as_foreign_keys = false

  ## Suffix to append to table name (measurement name) for the foreign tag table.
  # tag_table_suffix = "_tag"

  ## Deny inserting metrics if the foreign tag can't be inserted.
  # foreign_tag_constraint = false

  ## Store all tags as a JSONB object in a single 'tags' column.
  # tags_as_jsonb = false

  ## Store all fields as a JSONB object in a single 'fields' column.
  # fields_as_jsonb = false

  ## Name of the timestamp column
  ## NOTE: Some tools (e.g. Grafana) require the default name so be careful!
  # timestamp_column_name = "time"

  ## Type of the timestamp column
  ## Currently, "timestamp without time zone" and "timestamp with time zone"
  ## are supported
  # timestamp_column_type = "timestamp without time zone"

  ## Templated statements to execute when creating a new table.
  # create_templates = [
  #   '''CREATE TABLE {{ .table }} ({{ .columns }})''',
  # ]

  ## Templated statements to execute when adding columns to a table.
  ## Set to an empty list to disable. Points containing tags for which there is
  ## no column will be skipped. Points containing fields for which there is no
  ## column will have the field omitted.
  # add_column_templates = [
  #   '''ALTER TABLE {{ .table }} ADD COLUMN IF NOT EXISTS {{ .columns|join ", ADD COLUMN IF NOT EXISTS " }}''',
  # ]

  ## Templated statements to execute when creating a new tag table.
  # tag_table_create_templates = [
  #   '''CREATE TABLE {{ .table }} ({{ .columns }}, PRIMARY KEY (tag_id))''',
  # ]

  ## Templated statements to execute when adding columns to a tag table.
  ## Set to an empty list to disable. Points containing tags for which there is
  ## no column will be skipped.
  # tag_table_add_column_templates = [
  #   '''ALTER TABLE {{ .table }} ADD COLUMN IF NOT EXISTS {{ .columns|join ", ADD COLUMN IF NOT EXISTS " }}''',
  # ]

  ## The postgres data type to use for storing unsigned 64-bit integer values
  ## (Postgres does not have a native unsigned 64-bit integer type).
  ## The value can be one of:
  ##   numeric - Uses the PostgreSQL "numeric" data type.
  ##   uint8 - Requires pguint extension (https://github.com/petere/pguint)
  # uint64_type = "numeric"

  ## When using pool_max_conns > 1, and a temporary error occurs, the query is
  ## retried with an incremental backoff. This controls the maximum duration.
  # retry_max_backoff = "15s"

  ## Approximate number of tag IDs to store in in-memory cache (when using
  ## tags_as_foreign_keys). This is an optimization to skip inserting known
  ## tag IDs. Each entry consumes approximately 34 bytes of memory.
  # tag_cache_size = 100000

  ## Cut column names at the given length to not exceed PostgreSQL's
  ## 'identifier length' limit (default: no limit)
  ## (see https://postgresql.ac.cn/docs/current/limits.html)
  ## Be careful to not create duplicate column names!
  # column_name_length_limit = 0

  ## Enable & set the log level for the Postgres driver.
  # log_level = "warn" # trace, debug, info, warn, error, none

输入和输出集成示例

Webhooks

  1. 来自 Github 的实时通知:将 Webhooks 输入插件与 Github 集成,以接收有关事件(如拉取请求、提交和问题)的实时通知。 这使开发团队能够立即监控其存储库中的关键更改和更新,从而提高协作效率和响应时间。

  2. 使用 Rollbar 进行自动化警报:使用此插件监听 Rollbar 报告的错误,使团队能够快速响应生产中的错误和问题。 通过将这些警报转发到集中式监控系统,团队可以根据严重程度确定响应的优先级,并防止停机时间升级。

  3. 来自 Filestack 的性能监控:捕获来自 Filestack 的事件,以跟踪文件上传、转换和错误。 此设置有助于企业了解用户与文件管理流程的交互,优化工作流程,并确保文件服务的高可用性。

  4. 使用 Papertrail 进行集中式日志记录:通过 webhooks 关联发送到 Papertrail 的所有日志,使您能够整合日志记录策略。 通过实时日志转发,团队可以有效地分析趋势和异常,确保他们保持对关键操作的可见性。

TimescaleDB

  1. 实时物联网数据摄取:使用该插件实时收集和存储来自数千个物联网设备的传感器数据。 此设置有助于立即分析,帮助组织监控运营效率并快速响应不断变化的条件。

  2. 云应用程序性能监控:利用该插件将来自分布式云应用程序的详细性能指标馈送到 TimescaleDB。 此集成支持实时仪表板和警报,使团队能够快速识别和缓解性能瓶颈。

  3. 历史数据分析和报告:实施一个系统,其中长期指标存储在 TimescaleDB 中,以进行全面的历史分析。 这种方法允许企业执行趋势分析、生成详细报告,并根据存档的时序数据做出数据驱动的决策。

  4. 自适应警报和异常检测:将插件与自动化异常检测工作流程集成。 通过将指标持续流式传输到 TimescaleDB,机器学习模型可以分析数据模式并在发生异常时触发警报,从而提高系统可靠性和主动维护。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将其视为时序数据时,任何数据都更有价值。 使用 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成