StatsD 和 Azure Data Explorer 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑 StatsD 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。借助 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

StatsD 输入插件通过在后台运行侦听器服务来捕获来自 StatsD 服务器的指标,从而实现全面的性能监控和指标聚合。

Azure Data Explorer 插件允许与 Azure Data Explorer 集成指标收集,使用户能够高效地分析和查询其遥测数据。借助此插件,用户可以配置摄取设置以满足其需求,并利用 Azure 强大的分析功能。

集成详情

StatsD

StatsD 输入插件旨在通过在 Telegraf 处于活动状态时运行后台 StatsD 侦听器服务,从 StatsD 服务器收集指标。此插件利用原始 Etsy 实现建立的 StatsD 消息格式,该格式允许各种类型的指标,包括仪表、计数器、集合、计时、直方图和分布。StatsD 插件的功能扩展到解析标签,并使用适应 InfluxDB 标签系统的功能扩展标准协议。它可以处理通过不同协议(UDP 或 TCP)发送的消息,有效管理多个指标,并为最佳指标处理提供高级配置,例如百分位数计算和数据转换模板。这种灵活性使用户能够全面跟踪应用程序性能,使其成为强大监控设置的重要工具。

Azure Data Explorer

Azure Data Explorer 插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时间序列数据写入 Azure Data Explorer、Azure Synapse 和 Fabric 中的实时分析。此集成充当桥梁,使应用程序和服务能够有效地监控其性能指标或日志。Azure Data Explorer 针对海量不同数据类型的分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。该插件使用户能够根据其需求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需角色和权限的灵活性。这为利用云服务的现代应用程序支持可扩展且安全的监控设置。

配置

StatsD

[[inputs.statsd]]
  ## Protocol, must be "tcp", "udp4", "udp6" or "udp" (default=udp)
  protocol = "udp"

  ## MaxTCPConnection - applicable when protocol is set to tcp (default=250)
  max_tcp_connections = 250

  ## Enable TCP keep alive probes (default=false)
  tcp_keep_alive = false

  ## Specifies the keep-alive period for an active network connection.
  ## Only applies to TCP sockets and will be ignored if tcp_keep_alive is false.
  ## Defaults to the OS configuration.
  # tcp_keep_alive_period = "2h"

  ## Address and port to host UDP listener on
  service_address = ":8125"

  ## The following configuration options control when telegraf clears it's cache
  ## of previous values. If set to false, then telegraf will only clear it's
  ## cache when the daemon is restarted.
  ## Reset gauges every interval (default=true)
  delete_gauges = true
  ## Reset counters every interval (default=true)
  delete_counters = true
  ## Reset sets every interval (default=true)
  delete_sets = true
  ## Reset timings & histograms every interval (default=true)
  delete_timings = true

  ## Enable aggregation temporality adds temporality=delta or temporality=commulative tag, and
  ## start_time field, which adds the start time of the metric accumulation.
  ## You should use this when using OpenTelemetry output.
  # enable_aggregation_temporality = false

  ## Percentiles to calculate for timing & histogram stats.
  percentiles = [50.0, 90.0, 99.0, 99.9, 99.95, 100.0]

  ## separator to use between elements of a statsd metric
  metric_separator = "_"

  ## Parses tags in the datadog statsd format
  ## http://docs.datadoghq.com/guides/dogstatsd/
  ## deprecated in 1.10; use datadog_extensions option instead
  parse_data_dog_tags = false

  ## Parses extensions to statsd in the datadog statsd format
  ## currently supports metrics and datadog tags.
  ## http://docs.datadoghq.com/guides/dogstatsd/
  datadog_extensions = false

  ## Parses distributions metric as specified in the datadog statsd format
  ## https://docs.datadoghq.com/developers/metrics/types/?tab=distribution#definition
  datadog_distributions = false

  ## Keep or drop the container id as tag. Included as optional field
  ## in DogStatsD protocol v1.2 if source is running in Kubernetes
  ## https://docs.datadoghq.com/developers/dogstatsd/datagram_shell/?tab=metrics#dogstatsd-protocol-v12
  datadog_keep_container_tag = false

  ## Statsd data translation templates, more info can be read here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/TEMPLATE_PATTERN.md
  # templates = [
  #     "cpu.* measurement*"
  # ]

  ## Number of UDP messages allowed to queue up, once filled,
  ## the statsd server will start dropping packets
  allowed_pending_messages = 10000

  ## Number of worker threads used to parse the incoming messages.
  # number_workers_threads = 5

  ## Number of timing/histogram values to track per-measurement in the
  ## calculation of percentiles. Raising this limit increases the accuracy
  ## of percentiles but also increases the memory usage and cpu time.
  percentile_limit = 1000

  ## Maximum socket buffer size in bytes, once the buffer fills up, metrics
  ## will start dropping.  Defaults to the OS default.
  # read_buffer_size = 65535

  ## Max duration (TTL) for each metric to stay cached/reported without being updated.
  # max_ttl = "10h"

  ## Sanitize name method
  ## By default, telegraf will pass names directly as they are received.
  ## However, upstream statsd now does sanitization of names which can be
  ## enabled by using the "upstream" method option. This option will a) replace
  ## white space with '_', replace '/' with '-', and remove characters not
  ## matching 'a-zA-Z_\-0-9\.;='.
  #sanitize_name_method = ""

  ## Replace dots (.) with underscore (_) and dashes (-) with
  ## double underscore (__) in metric names.
  # convert_names = false

  ## Convert all numeric counters to float
  ## Enabling this would ensure that both counters and guages are both emitted
  ## as floats.
  # float_counters = false

Azure Data Explorer

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

StatsD

  1. 实时应用程序性能监控:利用 StatsD 输入插件实时监控应用程序性能指标。通过配置您的应用程序向 StatsD 服务器发送各种指标,团队可以利用此插件动态分析性能瓶颈、跟踪用户活动并确保资源优化。历史指标和实时指标的结合可以实现主动故障排除,并提高问题解决过程的响应速度。

  2. 跟踪 Web 应用程序中的用户参与度指标:使用 StatsD 插件收集用户参与度统计信息,例如页面浏览量、点击事件和交互时间。通过将这些指标发送到 StatsD 服务器,企业可以深入了解用户行为,从而使他们能够根据定量反馈做出数据驱动的决策,以改善用户体验和界面设计。这可以显着提高营销策略和产品开发工作的有效性。

  3. 基础设施健康监控:部署 StatsD 插件以监控服务器基础设施的健康状况,方法是跟踪资源利用率、服务器响应时间和网络性能等指标。通过此设置,DevOps 团队可以详细了解系统性能,从而有效地在问题升级之前预测问题。这使得能够采取主动的基础设施管理方法,最大限度地减少停机时间并确保最佳服务交付。

  4. 创建全面的服务仪表板:将 StatsD 与可视化工具集成,以创建全面的仪表板,反映整个架构中服务的状态和健康状况。例如,结合通过 StatsD 记录的来自多个服务的数据,可以将原始指标转换为可操作的见解,从而显示系统性能随时间变化的趋势。此功能使利益相关者能够保持监督并根据可视化的数据集驱动决策,从而提高整体运营透明度。

Azure Data Explorer

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure Data Explorer 中,组织可以构建全面的仪表板,反映实时性能指标。这使团队能够主动响应性能问题并优化系统健康状况,而不会延迟。

  2. 集中式日志管理:利用 Azure Data Explorer 来整合来自多个应用程序和服务的日志。通过使用该插件,组织可以简化其日志分析流程,从而更轻松地搜索、过滤和从随时间积累的历史数据中获取见解。

  3. 数据驱动的警报系统:通过根据通过此插件发送的指标配置警报来增强监控功能。组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键操作的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure Data Explorer 的数据,组织可以执行大规模分析并准备数据以供输入机器学习模型。此插件支持数据结构化,这些数据随后可用于预测分析,从而增强决策能力。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。借助 InfluxDB,排名第一的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许根据这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供 DynamoDB 的检查点功能以实现可靠的消息处理。

查看集成