Apache Kafka Burrow 监控

免费使用此InfluxDB集成

Burrow 是一款专为 Apache Kafka 设计的监控伴侣解决方案，提供消费者延迟检查等服务，无需指定阈值。它是一个用于监控所有消费者提交偏移量的工具，此时将根据需求计算这些消费者的状态。

换句话说，它通过评估消费者在滑动窗口内的行为来确定消费者状态。这可以帮助您确定他们是否正在提交偏移量，提交的偏移量数量是否增加，延迟是否增加等等。

然后提供一个HTTP端点，以按需请求状态，以及任何其他相关的Kafka集群信息。还有许多可配置的通知器，可以通过电子邮件或HTTP调用发送状态报告到另一个服务，从而保证您始终能够获得最准确的信息。

为什么使用Burrow的Telegraf插件？

监控您的Apache Kafka基础设施非常重要，因为它可能是您应用程序数据的核心管道，因此有助于确保100%的可用性。Burrow Telegraf插件可以通过监控消费者是否跟上消息来帮助实现这一点。它通过向您展示消费者提交的偏移量和代理的状态来实现这一点。

您可以将这些指标收集到您的InfluxDB实例中，并根据您设置的阈值构建警报，以帮助维护您应用程序堆栈中的关键部分。

如何使用Burrow Telegraf插件监控Kafka消费者

Burrow Telegraf插件配置允许您设置响应时间、限制并发连接、过滤集群、消费者组和主题。

要正确配置您自己的环境中的Burrow，请使用以下命令。请注意，您需要用您自己的基础设施相关的信息替换默认值。所有默认值都在适当的位置注明。

[[inputs.burrow]]
 ## Burrow API endpoints in format "schema://host:port".
 ## Default is "https://127.0.0.1:8000".
 servers = ["https://127.0.0.1:8000"]

 ## Override Burrow API prefix.
 ## Useful when Burrow is behind reverse-proxy.
 # api_prefix = "/v3/kafka"

 ## Maximum time to receive response.
 # response_timeout = "5s"

 ## Limit per-server concurrent connections.
 ## Useful in case of large number of topics or consumer groups.
 # concurrent_connections = 20

 ## Filter clusters, default is no filtering.
 ## Values can be specified as glob patterns.
 # clusters_include = []
 # clusters_exclude = []

 ## Filter consumer groups, default is no filtering.
 ## Values can be specified as glob patterns.
 # groups_include = []
 # groups_exclude = []

 ## Filter topics, default is no filtering.
 ## Values can be specified as glob patterns.
 # topics_include = []
 # topics_exclude = []

 ## Credentials for basic HTTP authentication.
 # username = ""
 # password = ""

 ## Optional SSL config
 # ssl_ca = "/etc/telegraf/ca.pem"
 # ssl_cert = "/etc/telegraf/cert.pem"
 # ssl_key = "/etc/telegraf/key.pem"
 # insecure_skip_verify = false

您还可以选择许多组和分区状态映射，包括以下内容

• OK = 1
• NOT_FOUND = 2
• WARN = 3
• ERR = 4
• STOP = 5

用于监控的关键Burrow指标

您应积极监控的一些重要Burrow指标包括

• 对于burrow_group（每个消费者组一个事件）和burrow_partition（每个主题分区一个事件）
  • 状态
  • 状态码
  • 分区数量
  • 偏移量
  • 总滞后
  • 滞后
• burrow_topic（每个主题偏移量一个事件）
  • 偏移量

项目URL   文档