NSQ 和 Mimir 集成

输入和输出集成概述

NSQ Telegraf 插件从 NSQD 消息传递系统读取指标，从而实现实时数据处理和监控。

此插件使用 HTTP 将 Telegraf 指标直接发送到 Grafana Mimir 数据库，为 Prometheus 兼容指标提供可扩展且高效的长期存储和分析。

集成详细信息

NSQ

NSQ 插件与实时消息传递平台 NSQ 接口，可以从 NSQD 读取消息。此插件被归类为服务插件，这意味着它主动监听指标和事件，而不是定期轮询它们。该插件强调可靠性，通过跟踪未传递的消息直到它们被输出确认来防止数据丢失。该插件允许进行配置，例如指定 NSQLookupd 端点、主题和通道，并且它支持多种数据格式，以实现数据处理的灵活性。

Mimir

Grafana Mimir 支持 Prometheus Remote Write 协议，使 Telegraf 收集的指标能够有效地摄取到 Mimir 集群中，以实现大规模、长期存储。此集成利用 Prometheus 的成熟标准，允许用户将 Telegraf 广泛的数据收集功能与 Mimir 的高级功能（例如查询联合、多租户、高可用性和经济高效的存储）相结合。Grafana Mimir 的架构经过优化，可处理大量指标数据并提供快速查询响应，使其成为复杂监控环境和分布式系统的理想选择。

配置

NSQ

# Read metrics from NSQD topic(s)
[[inputs.nsq_consumer]]
  ## Server option still works but is deprecated, we just prepend it to the nsqd array.
  # server = "localhost:4150"

  ## An array representing the NSQD TCP HTTP Endpoints
  nsqd = ["localhost:4150"]

  ## An array representing the NSQLookupd HTTP Endpoints
  nsqlookupd = ["localhost:4161"]
  topic = "telegraf"
  channel = "consumer"
  max_in_flight = 100

  ## Max undelivered messages
  ## This plugin uses tracking metrics, which ensure messages are read to
  ## outputs before acknowledging them to the original broker to ensure data
  ## is not lost. This option sets the maximum messages to read from the
  ## broker that have not been written by an output.
  ##
  ## This value needs to be picked with awareness of the agent's
  ## metric_batch_size value as well. Setting max undelivered messages too high
  ## can result in a constant stream of data batches to the output. While
  ## setting it too low may never flush the broker's messages.
  # max_undelivered_messages = 1000

  ## Data format to consume.
  ## Each data format has its own unique set of configuration options, read
  ## more about them here:
  ## https://github.com/influxdata/telegraf/blob/master/docs/DATA_FORMATS_INPUT.md
  data_format = "influx"

Mimir

[[outputs.http]]
  url = "http://data-load-balancer-backend-1:9009/api/v1/push"
  data_format = "prometheusremotewrite"
  username = "*****"
  password = "******"
  [outputs.http.headers]
     Content-Type = "application/x-protobuf"
     Content-Encoding = "snappy"
     X-Scope-OrgID = "****"

输入和输出集成示例

NSQ

1. 实时分析仪表板：将此插件与可视化工具集成，以创建仪表板，显示来自 NSQ 中各种主题的实时指标。通过订阅特定主题，用户可以动态监控系统健康状况和应用程序性能，从而立即获得洞察力并及时响应任何异常情况。

2. 事件驱动的自动化：将 NSQ 与无服务器架构相结合，以根据传入的消息触发自动化工作流程。此用例可能涉及处理机器学习模型的数据或响应应用程序中的用户操作，从而简化操作并通过快速处理增强用户体验。

3. 多服务通信中心：在分布式架构中，使用 NSQ 插件充当不同微服务之间的集中式消息传递中心。通过使服务能够通过 NSQ 进行通信，开发人员可以确保可靠的消息传递，同时保持解耦的服务交互，从而显着提高可扩展性和弹性。

4. 用于增强监控的指标聚合：实施 NSQ 插件以聚合来自多个来源的指标，然后再将其发送到分析工具。此设置使企业能够整合来自各种应用程序和服务的数据，创建统一的视图，从而更好地进行决策和战略规划。

Mimir

1. 企业级 Kubernetes 监控：将 Telegraf 与 Grafana Mimir 集成，以企业级规模从 Kubernetes 集群流式传输指标。这实现了全面的可见性、改进的资源分配以及跨数百个集群的主动故障排除，从而利用了 Mimir 的水平可扩展性和高可用性。

2. 多租户 SaaS 应用程序可观测性：使用此插件将来自不同 SaaS 租户的指标集中到 Grafana Mimir 中，从而实现租户隔离和基于资源使用情况的准确计费。这种方法提供了可靠的可观测性、高效的成本管理和安全的多租户支持。

3. 全球边缘网络性能跟踪：将来自全球分布式边缘服务器的延迟和可用性指标流式传输到 Grafana Mimir 中。组织可以快速识别性能下降或中断，利用 Mimir 的快速查询功能来确保最佳的服务可靠性和用户体验。

4. 高容量微服务的实时分析：在高容量微服务架构中实施 Telegraf 指标收集，将数据馈送到 Grafana Mimir 中，以进行实时分析和异常检测。Mimir 强大的查询功能使团队能够检测异常并快速响应，从而保持高服务可用性和性能。

反馈

感谢您成为我们社区的一份子！如果您有任何一般性反馈或在这些页面上发现了任何错误，我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。