StatsD 和 OpenTSDB 集成

通过 Telegraf(由 InfluxData 构建的开源数据连接器)驱动,实现强大的性能和轻松的集成。

info

这不是大规模实时查询的推荐配置。 为了优化查询和压缩、高速摄取和高可用性,您可能需要考虑 StatsD 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会变得更有价值。 使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

StatsD 输入插件通过在后台运行侦听器服务,从 StatsD 服务器捕获指标,从而实现全面的性能监控和指标聚合。

OpenTSDB 插件促进 Telegraf 与 OpenTSDB 的集成,允许用户将时序指标无缝推送到 OpenTSDB 后端。

集成详情

StatsD

StatsD 输入插件旨在通过在 Telegraf 处于活动状态时运行后台 StatsD 侦听器服务,从 StatsD 服务器收集指标。 该插件利用原始 Etsy 实施建立的 StatsD 消息格式,该格式允许各种类型的指标,包括计量器、计数器、集合、计时、直方图和分布。 StatsD 插件的功能扩展到解析标签,并使用适应 InfluxDB 标记系统的功能扩展标准协议。 它可以处理通过不同协议(UDP 或 TCP)发送的消息,有效地管理多个指标,并为优化指标处理提供高级配置,例如百分位数计算和数据转换模板。 这种灵活性使户能够全面跟踪应用程序性能,使其成为强大监控设置的重要工具。

OpenTSDB

OpenTSDB 插件旨在通过 telnet 或 HTTP 模式将指标发送到 OpenTSDB 实例。 随着 OpenTSDB 2.0 的推出,发送指标的推荐方法是通过 HTTP API,它允许通过配置 'http_batch_size' 来批量处理指标。 该插件支持多种配置选项,包括指标前缀、服务器主机和端口规范、反向代理的 URI 路径自定义以及用于诊断与 OpenTSDB 通信问题的调试选项。 此插件在生成时序数据并且需要有效存储在像 OpenTSDB 这样的可扩展时序数据库中的场景中特别有用,使其适用于广泛的监控和分析应用程序。

配置

StatsD

[[inputs.statsd]]
  ## Protocol, must be "tcp", "udp4", "udp6" or "udp" (default=udp)
  protocol = "udp"

  ## MaxTCPConnection - applicable when protocol is set to tcp (default=250)
  max_tcp_connections = 250

  ## Enable TCP keep alive probes (default=false)
  tcp_keep_alive = false

  ## Specifies the keep-alive period for an active network connection.
  ## Only applies to TCP sockets and will be ignored if tcp_keep_alive is false.
  ## Defaults to the OS configuration.
  # tcp_keep_alive_period = "2h"

  ## Address and port to host UDP listener on
  service_address = ":8125"

  ## The following configuration options control when telegraf clears it's cache
  ## of previous values. If set to false, then telegraf will only clear it's
  ## cache when the daemon is restarted.
  ## Reset gauges every interval (default=true)
  delete_gauges = true
  ## Reset counters every interval (default=true)
  delete_counters = true
  ## Reset sets every interval (default=true)
  delete_sets = true
  ## Reset timings & histograms every interval (default=true)
  delete_timings = true

  ## Enable aggregation temporality adds temporality=delta or temporality=commulative tag, and
  ## start_time field, which adds the start time of the metric accumulation.
  ## You should use this when using OpenTelemetry output.
  # enable_aggregation_temporality = false

  ## Percentiles to calculate for timing & histogram stats.
  percentiles = [50.0, 90.0, 99.0, 99.9, 99.95, 100.0]

  ## separator to use between elements of a statsd metric
  metric_separator = "_"

  ## Parses tags in the datadog statsd format
  ## http://docs.datadoghq.com/guides/dogstatsd/
  ## deprecated in 1.10; use datadog_extensions option instead
  parse_data_dog_tags = false

  ## Parses extensions to statsd in the datadog statsd format
  ## currently supports metrics and datadog tags.
  ## http://docs.datadoghq.com/guides/dogstatsd/
  datadog_extensions = false

  ## Parses distributions metric as specified in the datadog statsd format
  ## https://docs.datadoghq.com/developers/metrics/types/?tab=distribution#definition
  datadog_distributions = false

  ## Keep or drop the container id as tag. Included as optional field
  ## in DogStatsD protocol v1.2 if source is running in Kubernetes
  ## https://docs.datadoghq.com/developers/dogstatsd/datagram_shell/?tab=metrics#dogstatsd-protocol-v12
  datadog_keep_container_tag = false

  ## Statsd data translation templates, more info can be read here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/TEMPLATE_PATTERN.md
  # templates = [
  #     "cpu.* measurement*"
  # ]

  ## Number of UDP messages allowed to queue up, once filled,
  ## the statsd server will start dropping packets
  allowed_pending_messages = 10000

  ## Number of worker threads used to parse the incoming messages.
  # number_workers_threads = 5

  ## Number of timing/histogram values to track per-measurement in the
  ## calculation of percentiles. Raising this limit increases the accuracy
  ## of percentiles but also increases the memory usage and cpu time.
  percentile_limit = 1000

  ## Maximum socket buffer size in bytes, once the buffer fills up, metrics
  ## will start dropping.  Defaults to the OS default.
  # read_buffer_size = 65535

  ## Max duration (TTL) for each metric to stay cached/reported without being updated.
  # max_ttl = "10h"

  ## Sanitize name method
  ## By default, telegraf will pass names directly as they are received.
  ## However, upstream statsd now does sanitization of names which can be
  ## enabled by using the "upstream" method option. This option will a) replace
  ## white space with '_', replace '/' with '-', and remove characters not
  ## matching 'a-zA-Z_\-0-9\.;='.
  #sanitize_name_method = ""

  ## Replace dots (.) with underscore (_) and dashes (-) with
  ## double underscore (__) in metric names.
  # convert_names = false

  ## Convert all numeric counters to float
  ## Enabling this would ensure that both counters and guages are both emitted
  ## as floats.
  # float_counters = false

OpenTSDB

[[outputs.opentsdb]]
  ## prefix for metrics keys
  prefix = "my.specific.prefix."

  ## DNS name of the OpenTSDB server
  ## Using "opentsdb.example.com" or "tcp://opentsdb.example.com" will use the
  ## telnet API. "http://opentsdb.example.com" will use the Http API.
  host = "opentsdb.example.com"

  ## Port of the OpenTSDB server
  port = 4242

  ## Number of data points to send to OpenTSDB in Http requests.
  ## Not used with telnet API.
  http_batch_size = 50

  ## URI Path for Http requests to OpenTSDB.
  ## Used in cases where OpenTSDB is located behind a reverse proxy.
  http_path = "/api/put"

  ## Debug true - Prints OpenTSDB communication
  debug = false

  ## Separator separates measurement name from field
  separator = "_"

输入和输出集成示例

StatsD

  1. 实时应用程序性能监控:利用 StatsD 输入插件实时监控应用程序性能指标。 通过配置您的应用程序向 StatsD 服务器发送各种指标,团队可以利用此插件动态分析性能瓶颈、跟踪用户活动并确保资源优化。 历史指标和实时指标的结合可以实现主动故障排除,并提高问题解决过程的响应速度。

  2. 跟踪 Web 应用程序中的用户参与度指标:使用 StatsD 插件收集用户参与度统计信息,例如页面浏览量、点击事件和交互时间。 通过将这些指标发送到 StatsD 服务器,企业可以深入了解用户行为,从而能够根据量化反馈做出数据驱动的决策,以改善用户体验和界面设计。 这可以显着提高营销策略和产品开发工作的有效性。

  3. 基础设施健康状况监控:部署 StatsD 插件,通过跟踪资源利用率、服务器响应时间和网络性能等指标来监控服务器基础设施的健康状况。 通过这种设置,DevOps 团队可以详细了解系统性能,有效地预测问题,从而在问题升级之前解决。 这使得能够采取主动的基础设施管理方法,最大限度地减少停机时间并确保最佳服务交付。

  4. 创建全面的服务仪表板:将 StatsD 与可视化工具集成,以创建全面的仪表板,反映整个架构中服务的状态和健康状况。 例如,结合通过 StatsD 记录的来自多个服务的数据可以将原始指标转换为可操作的见解,从而展示系统性能随时间变化的趋势。 这种功能使利益干系人能够保持监督并根据可视化的数据集推动决策,从而提高整体运营透明度。

OpenTSDB

  1. 实时基础设施监控:利用 OpenTSDB 插件收集和存储来自各种基础设施组件的指标。 通过配置插件将指标推送到 OpenTSDB,组织可以集中查看其基础设施的健康状况和随时间变化的性能。

  2. 自定义应用程序指标跟踪:将 OpenTSDB 插件集成到自定义应用程序中,以跟踪关键绩效指标 (KPI),例如响应时间、错误率和用户交互。 这种设置允许开发人员和产品团队可视化应用程序性能趋势并做出数据驱动的决策。

  3. 自动异常检测:结合机器学习算法利用插件自动检测发送到 OpenTSDB 的时序数据中的异常。 通过持续监控传入的指标,系统可以训练模型,以便在潜在问题影响应用程序性能之前向用户发出警报。

  4. 历史数据分析:使用 OpenTSDB 插件存储和分析历史性能数据,用于容量规划和趋势分析。 这提供了对系统行为随时间变化的宝贵见解,帮助团队了解使用模式并为未来的增长做好准备。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会变得更有价值。 使用 InfluxDB,这是排名第一的时序平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 进行检查点操作的功能,以实现可靠的消息处理。

查看集成