Apache Zookeeper 和 Azure Data Explorer 集成

强大性能,轻松集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Apache Zookeeper 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 的下载量

2,800+

贡献者

目录

强大性能,无限扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Zookeeper Telegraf 插件从 Zookeeper 服务器收集并报告指标,从而促进监控和性能分析。 它利用“mntr”命令输出收集对于维护 Zookeeper 运行状况至关重要的基本统计信息。

Azure Data Explorer 插件允许将指标收集与 Azure Data Explorer 集成,使用户能够高效地分析和查询其遥测数据。 借助此插件,用户可以配置摄取设置以满足他们的需求,并利用 Azure 强大的分析功能。

集成详细信息

Apache Zookeeper

Telegraf 的 Zookeeper 插件旨在通过执行“mntr”命令从 Zookeeper 服务器收集重要统计信息。 此插件充当监控工具,捕获与 Zookeeper 性能相关的重要指标,包括连接详细信息、延迟和各种操作统计信息,从而促进评估 Zookeeper 部署的运行状况和效率。 与启用 Prometheus 指标提供程序时推荐使用的 Prometheus 输入插件相比,Zookeeper 插件访问来自“mntr”命令的原始输出,使其专为不采用 Prometheus 进行指标报告的配置量身定制。 这种独特的方法允许管理员直接从 Zookeeper 收集 Java Properties 格式的指标,确保全面了解 Zookeeper 的运行状态,并能够及时响应性能异常。 它在 Zookeeper 作为集中式服务运行的环境中尤为出色,用于维护分布式系统的配置信息和名称,从而提供对于故障排除和容量规划至关重要的不可估量的见解。

Azure Data Explorer

Azure Data Explorer 插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时序数据写入 Azure Data Explorer、Azure Synapse 和 Fabric 中的实时分析。 此集成充当桥梁,使应用程序和服务能够有效地监控其性能指标或日志。 Azure Data Explorer 针对对大量不同数据类型进行分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。 该插件使用户能够根据其要求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需的角色和权限的灵活性。 这支持利用云服务的现代应用程序的可扩展且安全的监控设置。

配置

Apache Zookeeper

[[inputs.zookeeper]]
  ## An array of address to gather stats about. Specify an ip or hostname
  ## with port. ie localhost:2181, 10.0.0.1:2181, etc.

  ## If no servers are specified, then localhost is used as the host.
  ## If no port is specified, 2181 is used
  servers = [":2181"]

  ## Timeout for metric collections from all servers. Minimum timeout is "1s".
  # timeout = "5s"

  ## Float Parsing - the initial implementation forced any value unable to be
  ## parsed as an int to be a string. Setting this to "float" will attempt to
  ## parse float values as floats and not strings. This would break existing
  ## metrics and may cause issues if a value switches between a float and int.
  # parse_floats = "string"

  ## Optional TLS Config
  # enable_tls = false
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## If false, skip chain & host verification
  # insecure_skip_verify = true

Azure Data Explorer

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

Apache Zookeeper

  1. 集群运行状况监控:集成 Zookeeper 插件以监控依赖 Zookeeper 进行配置管理和服务发现的分布式应用程序的运行状况和性能。 通过跟踪会话计数、延迟和数据大小等指标,DevOps 团队可以在潜在问题升级之前识别它们,从而确保应用程序的高可用性和可靠性。

  2. 性能基准测试:在不同的工作负载场景中利用该插件来测试 Zookeeper 性能。 这不仅有助于了解 Zookeeper 在负载下的行为方式,还有助于调整配置以优化峰值操作期间的吞吐量和减少延迟。

  3. 异常警报:将此插件与警报工具结合使用,创建一个主动监控系统,如果特定的 Zookeeper 指标超过阈值限制(例如打开的文件描述符计数或高延迟值),则通知工程师。 这使团队能够及时响应可能影响服务可靠性的问题。

  4. 历史数据分析:将 Zookeeper 插件收集的指标存储在时序数据库中,以分析历史性能趋势。 这使团队能够评估随时间推移的变化影响、评估扩展操作的有效性并规划未来的容量需求。

Azure Data Explorer

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure Data Explorer 中,组织可以构建反映实时性能指标的综合仪表板。 这使团队能够主动响应性能问题并立即优化系统运行状况。

  2. 集中式日志管理:利用 Azure Data Explorer 来整合来自多个应用程序和服务的日志。 通过利用该插件,组织可以简化其日志分析流程,从而更轻松地搜索、筛选和从随时间积累的历史数据中获取见解。

  3. 数据驱动的警报系统:通过基于通过此插件发送的指标配置警报来增强监控功能。 组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键操作的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure Data Explorer 的数据,组织可以执行大规模分析并准备数据以馈送到机器学习模型中。 此插件支持结构化数据,这些数据随后可用于预测分析,从而增强决策能力。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大性能,无限扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,排名第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成