Apache Zookeeper 和 MariaDB 集成

通过 Telegraf(InfluxData 构建的开源数据连接器)提供支持,实现强大的性能和简易的集成。

info

这不是大规模实时查询的推荐配置。 为了优化查询和压缩、实现高速摄取和高可用性,您可能需要考虑 Apache Zookeeper 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会变得更有价值。 借助 InfluxDB,这个排名第一的时序平台与 Telegraf 配合使用,可实现扩展。

查看入门方法

输入和输出集成概述

Zookeeper Telegraf 插件收集并报告来自 Zookeeper 服务器的指标,从而促进监控和性能分析。 它利用 ‘mntr’ 命令输出收集对于维护 Zookeeper 运行状况至关重要的基本统计信息。

此插件使用参数化的 SQL INSERT 语句将 Telegraf 的指标直接写入 MariaDB,从而提供一种将指标存储在结构化关系表中的灵活方式。

集成详情

Apache Zookeeper

Telegraf 的 Zookeeper 插件旨在通过执行 ‘mntr’ 命令从 Zookeeper 服务器收集重要统计信息。 此插件充当监控工具,捕获与 Zookeeper 性能相关的重要指标,包括连接详情、延迟和各种运行统计信息,从而有助于评估 Zookeeper 部署的运行状况和效率。 与在启用 Prometheus 指标提供程序时推荐使用的 Prometheus 输入插件相比,Zookeeper 插件访问 ‘mntr’ 命令的原始输出,使其适合不采用 Prometheus 进行指标报告的配置。 这种独特的方法允许管理员直接从 Zookeeper 收集 Java Properties 格式的指标,从而确保全面了解 Zookeeper 的运行状态,并能够及时响应性能异常。 它在 Zookeeper 作为集中式服务运行以维护分布式系统的配置信息和名称的环境中尤其出色,从而提供对于故障排除和容量规划至关重要的不可估量的见解。

MariaDB

Telegraf 中的 SQL 输出插件可以通过执行参数化的 SQL 语句,将指标直接写入与 SQL 兼容的数据库(如 MariaDB)。 凭借对 MySQL 驱动程序的支持,该插件与 MariaDB 无缝集成,实现可靠、结构化的指标存储。 此设置非常适合喜欢基于 SQL 的分析或希望将指标与业务数据一起存储以进行统一查询的用户。 MariaDB 是 MySQL 的一个由社区开发的、企业级的分支,它强调性能、安全性与开放性。 该插件支持将时序指标插入自定义模式,从而通过 SQL 连接器实现灵活的分析,并与 Metabase 或 Grafana 等 BI 工具集成。

配置

Apache Zookeeper

[[inputs.zookeeper]]
  ## An array of address to gather stats about. Specify an ip or hostname
  ## with port. ie localhost:2181, 10.0.0.1:2181, etc.

  ## If no servers are specified, then localhost is used as the host.
  ## If no port is specified, 2181 is used
  servers = [":2181"]

  ## Timeout for metric collections from all servers. Minimum timeout is "1s".
  # timeout = "5s"

  ## Float Parsing - the initial implementation forced any value unable to be
  ## parsed as an int to be a string. Setting this to "float" will attempt to
  ## parse float values as floats and not strings. This would break existing
  ## metrics and may cause issues if a value switches between a float and int.
  # parse_floats = "string"

  ## Optional TLS Config
  # enable_tls = false
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## If false, skip chain & host verification
  # insecure_skip_verify = true

MariaDB

[[outputs.sql]]
  ## Database driver
  ## Valid options: mssql (Microsoft SQL Server), mysql (MySQL), pgx (Postgres),
  ##  sqlite (SQLite3), snowflake (snowflake.com) clickhouse (ClickHouse)
  driver = "mysql"

  ## Data source name
  ## The format of the data source name is different for each database driver.
  ## See the plugin readme for details.
  data_source_name = "username:password@tcp(host:port)/dbname"

  ## Timestamp column name
  timestamp_column = "timestamp"

  ## Table creation template
  ## Available template variables:
  ##  {TABLE} - table name as a quoted identifier
  ##  {TABLELITERAL} - table name as a quoted string literal
  ##  {COLUMNS} - column definitions (list of quoted identifiers and types)
  table_template = "CREATE TABLE {TABLE}({COLUMNS})"

  ## SQL INSERT statement with placeholders. Telegraf will substitute values at runtime.
  ## table_template = "INSERT INTO metrics (timestamp, name, value, tags) VALUES (?, ?, ?, ?)"

  ## Table existence check template
  ## Available template variables:
  ##  {TABLE} - tablename as a quoted identifier
  table_exists_template = "SELECT 1 FROM {TABLE} LIMIT 1"

  ## Initialization SQL
  init_sql = "SET sql_mode='ANSI_QUOTES';"

  ## Maximum amount of time a connection may be idle. "0s" means connections are
  ## never closed due to idle time.
  connection_max_idle_time = "0s"

  ## Maximum amount of time a connection may be reused. "0s" means connections
  ## are never closed due to age.
  connection_max_lifetime = "0s"

  ## Maximum number of connections in the idle connection pool. 0 means unlimited.
  connection_max_idle = 2

  ## Maximum number of open connections to the database. 0 means unlimited.
  connection_max_open = 0

  ## NOTE: Due to the way TOML is parsed, tables must be at the END of the
  ## plugin definition, otherwise additional config options are read as part of the
  ## table

  ## Metric type to SQL type conversion
  ## The values on the left are the data types Telegraf has and the values on
  ## the right are the data types Telegraf will use when sending to a database.
  ##
  ## The database values used must be data types the destination database
  ## understands. It is up to the user to ensure that the selected data type is
  ## available in the database they are using. Refer to your database
  ## documentation for what data types are available and supported.
  #[outputs.sql.convert]
  #  integer              = "INT"
  #  real                 = "DOUBLE"
  #  text                 = "TEXT"
  #  timestamp            = "TIMESTAMP"
  #  defaultvalue         = "TEXT"
  #  unsigned             = "UNSIGNED"
  #  bool                 = "BOOL"
  #  ## This setting controls the behavior of the unsigned value. By default the
  #  ## setting will take the integer value and append the unsigned value to it. The other
  #  ## option is "literal", which will use the actual value the user provides to
  #  ## the unsigned option. This is useful for a database like ClickHouse where
  #  ## the unsigned value should use a value like "uint64".
  #  # conversion_style = "unsigned_suffix"

输入和输出集成示例

Apache Zookeeper

  1. 集群健康状况监控:集成 Zookeeper 插件以监控依赖 Zookeeper 进行配置管理和服务发现的分布式应用程序的运行状况和性能。 通过跟踪会话计数、延迟和数据大小等指标,DevOps 团队可以在潜在问题升级之前识别它们,从而确保跨应用程序的高可用性和可靠性。

  2. 性能基准测试:利用此插件在不同的工作负载场景中对 Zookeeper 性能进行基准测试。 这不仅有助于了解 Zookeeper 在负载下的行为方式,还有助于调整配置以优化吞吐量并减少高峰时段的延迟。

  3. 异常告警:将此插件与告警工具结合使用,以创建一个主动监控系统,如果特定的 Zookeeper 指标超过阈值限制(例如打开的文件描述符计数或高延迟值),则通知工程师。 这使团队能够及时响应可能影响服务可靠性的问题。

  4. 历史数据分析:将 Zookeeper 插件收集的指标存储在时序数据库中,以分析历史性能趋势。 这使团队能够评估随时间推移的变化的影响,评估扩展操作的有效性,并为未来的容量需求进行规划。

MariaDB

  1. 商业智能集成:将应用程序性能指标直接存储到 MariaDB 中,并将其连接到 Metabase 或 Apache Superset 等 BI 工具。 此设置允许将运营数据与业务 KPI 混合,以实现统一的仪表板,从而提高跨部门的可见性。

  2. 使用历史指标进行合规性报告:使用此插件将指标记录到 MariaDB 中,以用于审计和合规性用例。 关系模型支持使用时间戳条目精确查询过去的性能指标,从而支持监管文档。

  3. 基于 SQL 逻辑的自定义告警:将指标插入 MariaDB,并使用自定义 SQL 查询定义告警阈值或条件。 与 cron 作业或计划脚本结合使用,可以实现传统指标平台无法实现的更高级的告警工作流程。

  4. 物联网传感器指标存储:通过 Telegraf 收集来自 IoT 设备的传感器数据,并使用规范化模式将其存储在 MariaDB 中。 这种方法经济高效,并且可以很好地与现有的基于 SQL 的系统集成,以进行实时或历史分析。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提供意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会变得更有价值。 借助 InfluxDB,这个排名第一的时序平台与 Telegraf 配合使用,可实现扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成