StatsD 和 Prometheus 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 StatsD 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。使用 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

StatsD 输入插件通过在后台运行侦听器服务来捕获来自 StatsD 服务器的指标,从而实现全面的性能监控和指标聚合。

Prometheus 输出插件使 Telegraf 能够在 HTTP 端点上公开指标,以供 Prometheus 服务器抓取。此集成允许用户以 Prometheus 可以有效处理的格式从各种来源收集和聚合指标。

集成详情

StatsD

StatsD 输入插件旨在通过在 Telegraf 处于活动状态时运行后台 StatsD 侦听器服务来收集来自 StatsD 服务器的指标。此插件利用原始 Etsy 实现建立的 StatsD 消息格式,该格式允许各种类型的指标,包括 gauges、counters、sets、timings、histograms 和 distributions。StatsD 插件的功能扩展到解析标签和扩展标准协议,以包含适应 InfluxDB 标签系统的功能。它可以处理通过不同协议(UDP 或 TCP)发送的消息,有效地管理多个指标,并为最佳指标处理提供高级配置,例如百分位数计算和数据转换模板。这种灵活性使用户能够全面跟踪应用程序性能,使其成为强大监控设置的必备工具。

Prometheus

此插件有助于与 Prometheus 集成,Prometheus 是一个著名的开源监控和警报工具包,专为大规模环境中的可靠性和效率而设计。通过充当 Prometheus 客户端,它允许用户通过 HTTP 服务器公开一组定义的指标,Prometheus 可以按指定的时间间隔抓取这些指标。此插件通过允许各种系统以标准化格式发布性能指标,从而在监控各种系统中发挥着至关重要的作用,从而可以广泛了解系统健康状况和行为。主要功能包括支持配置各种端点、启用 TLS 以进行安全通信以及 HTTP 基本身份验证选项。该插件还可以与全局 Telegraf 配置设置无缝集成,支持广泛的自定义以满足特定的监控需求。这促进了不同系统必须有效通信性能数据的环境中的互操作性。利用 Prometheus 的指标格式,它可以通过指标过期和收集器控制等高级配置来实现灵活的指标管理,为监控和警报工作流程提供了一种复杂的解决方案。

配置

StatsD

[[inputs.statsd]]
  ## Protocol, must be "tcp", "udp4", "udp6" or "udp" (default=udp)
  protocol = "udp"

  ## MaxTCPConnection - applicable when protocol is set to tcp (default=250)
  max_tcp_connections = 250

  ## Enable TCP keep alive probes (default=false)
  tcp_keep_alive = false

  ## Specifies the keep-alive period for an active network connection.
  ## Only applies to TCP sockets and will be ignored if tcp_keep_alive is false.
  ## Defaults to the OS configuration.
  # tcp_keep_alive_period = "2h"

  ## Address and port to host UDP listener on
  service_address = ":8125"

  ## The following configuration options control when telegraf clears it's cache
  ## of previous values. If set to false, then telegraf will only clear it's
  ## cache when the daemon is restarted.
  ## Reset gauges every interval (default=true)
  delete_gauges = true
  ## Reset counters every interval (default=true)
  delete_counters = true
  ## Reset sets every interval (default=true)
  delete_sets = true
  ## Reset timings & histograms every interval (default=true)
  delete_timings = true

  ## Enable aggregation temporality adds temporality=delta or temporality=commulative tag, and
  ## start_time field, which adds the start time of the metric accumulation.
  ## You should use this when using OpenTelemetry output.
  # enable_aggregation_temporality = false

  ## Percentiles to calculate for timing & histogram stats.
  percentiles = [50.0, 90.0, 99.0, 99.9, 99.95, 100.0]

  ## separator to use between elements of a statsd metric
  metric_separator = "_"

  ## Parses tags in the datadog statsd format
  ## http://docs.datadoghq.com/guides/dogstatsd/
  ## deprecated in 1.10; use datadog_extensions option instead
  parse_data_dog_tags = false

  ## Parses extensions to statsd in the datadog statsd format
  ## currently supports metrics and datadog tags.
  ## http://docs.datadoghq.com/guides/dogstatsd/
  datadog_extensions = false

  ## Parses distributions metric as specified in the datadog statsd format
  ## https://docs.datadoghq.com/developers/metrics/types/?tab=distribution#definition
  datadog_distributions = false

  ## Keep or drop the container id as tag. Included as optional field
  ## in DogStatsD protocol v1.2 if source is running in Kubernetes
  ## https://docs.datadoghq.com/developers/dogstatsd/datagram_shell/?tab=metrics#dogstatsd-protocol-v12
  datadog_keep_container_tag = false

  ## Statsd data translation templates, more info can be read here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/TEMPLATE_PATTERN.md
  # templates = [
  #     "cpu.* measurement*"
  # ]

  ## Number of UDP messages allowed to queue up, once filled,
  ## the statsd server will start dropping packets
  allowed_pending_messages = 10000

  ## Number of worker threads used to parse the incoming messages.
  # number_workers_threads = 5

  ## Number of timing/histogram values to track per-measurement in the
  ## calculation of percentiles. Raising this limit increases the accuracy
  ## of percentiles but also increases the memory usage and cpu time.
  percentile_limit = 1000

  ## Maximum socket buffer size in bytes, once the buffer fills up, metrics
  ## will start dropping.  Defaults to the OS default.
  # read_buffer_size = 65535

  ## Max duration (TTL) for each metric to stay cached/reported without being updated.
  # max_ttl = "10h"

  ## Sanitize name method
  ## By default, telegraf will pass names directly as they are received.
  ## However, upstream statsd now does sanitization of names which can be
  ## enabled by using the "upstream" method option. This option will a) replace
  ## white space with '_', replace '/' with '-', and remove characters not
  ## matching 'a-zA-Z_\-0-9\.;='.
  #sanitize_name_method = ""

  ## Replace dots (.) with underscore (_) and dashes (-) with
  ## double underscore (__) in metric names.
  # convert_names = false

  ## Convert all numeric counters to float
  ## Enabling this would ensure that both counters and guages are both emitted
  ## as floats.
  # float_counters = false

Prometheus

[[outputs.prometheus_client]]
  ## Address to listen on.
  ##   ex:
  ##     listen = ":9273"
  ##     listen = "vsock://:9273"
  listen = ":9273"

  ## Maximum duration before timing out read of the request
  # read_timeout = "10s"
  ## Maximum duration before timing out write of the response
  # write_timeout = "10s"

  ## Metric version controls the mapping from Prometheus metrics into Telegraf metrics.
  ## See "Metric Format Configuration" in plugins/inputs/prometheus/README.md for details.
  ## Valid options: 1, 2
  # metric_version = 1

  ## Use HTTP Basic Authentication.
  # basic_username = "Foo"
  # basic_password = "Bar"

  ## If set, the IP Ranges which are allowed to access metrics.
  ##   ex: ip_range = ["192.168.0.0/24", "192.168.1.0/30"]
  # ip_range = []

  ## Path to publish the metrics on.
  # path = "/metrics"

  ## Expiration interval for each metric. 0 == no expiration
  # expiration_interval = "60s"

  ## Collectors to enable, valid entries are "gocollector" and "process".
  ## If unset, both are enabled.
  # collectors_exclude = ["gocollector", "process"]

  ## Send string metrics as Prometheus labels.
  ## Unless set to false all string metrics will be sent as labels.
  # string_as_label = true

  ## If set, enable TLS with the given certificate.
  # tls_cert = "/etc/ssl/telegraf.crt"
  # tls_key = "/etc/ssl/telegraf.key"

  ## Set one or more allowed client CA certificate file names to
  ## enable mutually authenticated TLS connections
  # tls_allowed_cacerts = ["/etc/telegraf/clientca.pem"]

  ## Export metric collection time.
  # export_timestamp = false

  ## Specify the metric type explicitly.
  ## This overrides the metric-type of the Telegraf metric. Globbing is allowed.
  # [outputs.prometheus_client.metric_types]
  #   counter = []
  #   gauge = []

输入和输出集成示例

StatsD

  1. 实时应用程序性能监控:利用 StatsD 输入插件实时监控应用程序性能指标。通过配置您的应用程序将各种指标发送到 StatsD 服务器,团队可以利用此插件动态分析性能瓶颈、跟踪用户活动并确保资源优化。历史指标和实时指标的结合可以实现主动故障排除,并提高问题解决流程的响应速度。

  2. 跟踪 Web 应用程序中的用户参与度指标:使用 StatsD 插件收集用户参与度统计信息,例如页面浏览量、点击事件和交互时间。通过将这些指标发送到 StatsD 服务器,企业可以深入了解用户行为,从而能够根据定量反馈做出数据驱动的决策,以改善用户体验和界面设计。这可以显着提高营销策略和产品开发工作的有效性。

  3. 基础设施健康监控:部署 StatsD 插件,通过跟踪资源利用率、服务器响应时间和网络性能等指标来监控服务器基础设施的健康状况。通过这种设置,DevOps 团队可以详细了解系统性能,有效地预测问题并在问题升级之前解决。这可以实现主动的基础设施管理方法,最大限度地减少停机时间并确保最佳服务交付。

  4. 创建全面的服务仪表板:将 StatsD 与可视化工具集成,以创建全面的仪表板,反映整个架构中服务的状态和健康状况。例如,将通过 StatsD 记录的多个服务的数据组合在一起可以将原始指标转换为可操作的见解,从而展示系统性能随时间变化的趋势。此功能使利益相关者能够保持监督并根据可视化的数据集推动决策,从而提高整体运营透明度。

Prometheus

  1. 监控多云部署:利用 Prometheus 插件收集来自跨多个云提供商运行的应用程序的指标。这种情况允许团队通过单个 Prometheus 实例集中监控,该实例从不同环境中抓取指标,从而提供跨混合基础设施的性能指标的统一视图。它简化了报告和警报,提高了运营效率,而无需复杂的集成。

  2. 增强微服务可见性:实施该插件以公开 Kubernetes 集群中各种微服务的指标。使用 Prometheus,团队可以实时可视化服务指标、识别瓶颈并维护系统健康检查。此设置支持基于从收集的指标生成的见解进行自适应扩展和资源利用率优化。它增强了对服务交互进行故障排除的能力,从而显着提高了微服务架构的弹性。

  3. 电子商务中的实时异常检测:通过将此插件与 Prometheus 一起使用,电子商务平台可以监控关键性能指标,例如响应时间和错误率。将异常检测算法与抓取的指标集成在一起可以识别指示潜在问题的意外模式,例如突然的流量高峰或后端服务故障。这种主动监控增强了业务连续性和运营效率,最大限度地减少了潜在的停机时间,同时确保了服务可靠性。

  4. API 的性能指标报告:利用 Prometheus 输出插件收集和报告 API 性能指标,然后可以在 Grafana 仪表板中可视化这些指标。此用例可以详细分析 API 响应时间、吞吐量和错误率,从而促进 API 服务的持续改进。通过密切监控这些指标,团队可以快速响应性能下降,确保最佳 API 性能并保持高水平的服务可用性。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提供意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。使用 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 进行可靠消息处理的检查点功能。

查看集成