Apache Zookeeper 和 Graylog 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Apache Zookeeper 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,排名第一的、旨在与 Telegraf 协同扩展的时序平台。

查看入门方法

输入和输出集成概述

Zookeeper Telegraf 插件从 Zookeeper 服务器收集和报告指标,从而促进监控和性能分析。 它利用“mntr”命令输出收集对于维护 Zookeeper 运行状况至关重要的基本统计信息。

Graylog 插件允许您将 Telegraf 指标发送到 Graylog 服务器,并使用 GELF 格式进行结构化日志记录。

集成详情

Apache Zookeeper

Telegraf 的 Zookeeper 插件旨在通过执行“mntr”命令从 Zookeeper 服务器收集重要统计信息。 该插件充当监控工具,捕获与 Zookeeper 性能相关的重要指标,包括连接详细信息、延迟和各种操作统计信息,从而有助于评估 Zookeeper 部署的运行状况和效率。 与启用 Prometheus 指标提供程序时推荐的 Prometheus 输入插件相比,Zookeeper 插件访问来自“mntr”命令的原始输出,使其专为不采用 Prometheus 进行指标报告的配置而定制。 这种独特的方法允许管理员直接从 Zookeeper 收集 Java Properties 格式的指标,确保全面了解 Zookeeper 的运行状态,并能够及时响应性能异常。 它在 Zookeeper 作为集中式服务运行以维护分布式系统的配置信息和名称的环境中尤其出色,从而提供对于故障排除和容量规划至关重要的不可估量的见解。

Graylog

Graylog 插件旨在用于使用 GELF(Graylog 扩展日志格式)格式将指标发送到 Graylog 实例。 GELF 有助于标准化日志记录数据,使系统更轻松地发送和分析日志。 该插件遵循 GELF 规范,该规范规定了有效负载中特定字段的要求。 值得注意的是,时间戳必须采用 UNIX 格式,如果存在,插件会将时间戳原样发送到 Graylog,而不会进行更改。 如果省略,它会自动生成时间戳。 此外,任何未由规范明确定义的额外字段都将以“_”作为前缀,这有助于保持数据井井有条并符合 GELF 的要求。 此功能对于实时监控应用程序和基础设施的用户尤其有价值,因为它允许跨多个系统进行无缝集成和改进的可视性。

配置

Apache Zookeeper

[[inputs.zookeeper]]
  ## An array of address to gather stats about. Specify an ip or hostname
  ## with port. ie localhost:2181, 10.0.0.1:2181, etc.

  ## If no servers are specified, then localhost is used as the host.
  ## If no port is specified, 2181 is used
  servers = [":2181"]

  ## Timeout for metric collections from all servers. Minimum timeout is "1s".
  # timeout = "5s"

  ## Float Parsing - the initial implementation forced any value unable to be
  ## parsed as an int to be a string. Setting this to "float" will attempt to
  ## parse float values as floats and not strings. This would break existing
  ## metrics and may cause issues if a value switches between a float and int.
  # parse_floats = "string"

  ## Optional TLS Config
  # enable_tls = false
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## If false, skip chain & host verification
  # insecure_skip_verify = true

Graylog

[[outputs.graylog]]
  ## Endpoints for your graylog instances.
  servers = ["udp://127.0.0.1:12201"]

  ## Connection timeout.
  # timeout = "5s"

  ## The field to use as the GELF short_message, if unset the static string
  ## "telegraf" will be used.
  ##   example: short_message_field = "message"
  # short_message_field = ""

  ## According to GELF payload specification, additional fields names must be prefixed
  ## with an underscore. Previous versions did not prefix custom field 'name' with underscore.
  ## Set to true for backward compatibility.
  # name_field_no_prefix = false

  ## Connection retry options
  ## Attempt to connect to the endpoints if the initial connection fails.
  ## If 'false', Telegraf will give up after 3 connection attempt and will
  ## exit with an error. If set to 'true', the plugin will retry to connect
  ## to the unconnected endpoints infinitely.
  # connection_retry = false
  ## Time to wait between connection retry attempts.
  # connection_retry_wait_time = "15s"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

输入和输出集成示例

Apache Zookeeper

  1. 集群健康状况监控:集成 Zookeeper 插件以监控依赖 Zookeeper 进行配置管理和服务发现的分布式应用程序的健康状况和性能。 通过跟踪会话计数、延迟和数据大小等指标,DevOps 团队可以在潜在问题升级之前识别它们,从而确保应用程序的高可用性和可靠性。

  2. 性能基准测试:在不同的工作负载场景中利用该插件对 Zookeeper 性能进行基准测试。 这不仅有助于了解 Zookeeper 在负载下的行为,还有助于调整配置以优化吞吐量并减少峰值操作期间的延迟。

  3. 异常警报:将此插件与警报工具结合使用,以创建主动监控系统,如果特定的 Zookeeper 指标超出阈值限制(例如打开的文件描述符计数或高延迟值),则该系统会通知工程师。 这使团队能够及时响应可能影响服务可靠性的问题。

  4. 历史数据分析:将 Zookeeper 插件收集的指标存储在时序数据库中,以分析历史性能趋势。 这使团队能够评估更改随时间推移的影响,评估扩展操作的有效性,并为未来的容量需求制定计划。

Graylog

  1. 增强云应用程序的日志管理:使用 Graylog Telegraf 插件聚合来自跨多个服务器云部署的应用程序的日志。 通过集成此插件,团队可以集中日志记录数据,从而更轻松地排除问题、监控应用程序性能并遵守日志记录标准。

  2. 实时安全监控:利用 Graylog 插件收集安全相关指标和日志并将其发送到 Graylog 服务器以进行实时分析。 这使安全团队能够通过关联基础设施内各种来源的日志,快速识别异常、跟踪潜在的漏洞并及时响应事件。

  3. 动态警报和通知系统:实施 Graylog 插件以增强基础设施中的警报机制。 通过将指标发送到 Graylog,团队可以根据日志模式或意外行为设置动态警报,从而实现主动监控和快速事件响应策略。

  4. 跨平台日志整合:使用 Graylog 插件来促进跨平台日志整合,涵盖本地部署、混合云和云等各种环境。 通过以 GELF 格式标准化日志记录,组织可以确保一致的监控和故障排除实践,无论其服务托管在何处。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,排名第一的、旨在与 Telegraf 协同扩展的时序平台。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 进行检查点功能的特性,以实现可靠的消息处理。

查看集成