RabbitMQ 和 Azure 数据资源管理器集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

这不是实时大规模查询的推荐配置。 为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑RabbitMQ 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展性

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件从 RabbitMQ 服务器读取指标,提供对消息传递系统性能和状态的重要见解。

Azure 数据资源管理器插件允许将指标收集与 Azure 数据资源管理器集成,使用户能够高效地分析和查询其遥测数据。 通过此插件,用户可以配置摄取设置以满足其需求,并利用 Azure 强大的分析功能。

集成详情

RabbitMQ

Telegraf 的 RabbitMQ 插件允许用户通过 RabbitMQ 管理插件从 RabbitMQ 服务器收集指标。 此功能对于监控 RabbitMQ 实例的性能和运行状况至关重要,RabbitMQ 实例广泛用于各种应用程序中的消息队列和处理。 该插件提供对关键 RabbitMQ 指标的全面见解,包括消息速率、队列深度和节点运行状况统计信息,从而使操作员能够保持其消息传递基础设施的最佳性能和稳健性。 此外,它还支持用于安全管理敏感凭据的密钥存储,使与现有系统的集成更加顺畅。 配置选项允许灵活指定要监控的节点、队列和交换机,为各种部署场景提供有价值的适应性。

Azure 数据资源管理器

Azure 数据资源管理器插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时序数据写入 Azure 数据资源管理器、Azure Synapse 和 Fabric 中的实时分析。 此集成充当桥梁,使应用程序和服务能够有效地监控其性能指标或日志。 Azure 数据资源管理器针对对大量不同数据类型进行分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。 该插件使用户能够根据其需求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需的角色和权限的灵活性。 这支持利用云服务的现代应用程序的可扩展且安全的监控设置。

配置

RabbitMQ

[[inputs.rabbitmq]]
  ## Management Plugin url. (default: http://localhost:15672)
  # url = "http://localhost:15672"
  ## Tag added to rabbitmq_overview series; deprecated: use tags
  # name = "rmq-server-1"
  ## Credentials
  # username = "guest"
  # password = "guest"

  ## Optional TLS Config
  # tls_ca = "/etc/telegraf/ca.pem"
  # tls_cert = "/etc/telegraf/cert.pem"
  # tls_key = "/etc/telegraf/key.pem"
  ## Use TLS but skip chain & host verification
  # insecure_skip_verify = false

  ## Optional request timeouts
  ## ResponseHeaderTimeout, if non-zero, specifies the amount of time to wait
  ## for a server's response headers after fully writing the request.
  # header_timeout = "3s"
  ##
  ## client_timeout specifies a time limit for requests made by this client.
  ## Includes connection time, any redirects, and reading the response body.
  # client_timeout = "4s"

  ## A list of nodes to gather as the rabbitmq_node measurement. If not
  ## specified, metrics for all nodes are gathered.
  # nodes = ["rabbit@node1", "rabbit@node2"]

  ## A list of queues to gather as the rabbitmq_queue measurement. If not
  ## specified, metrics for all queues are gathered.
  ## Deprecated in 1.6: Use queue_name_include instead.
  # queues = ["telegraf"]

  ## A list of exchanges to gather as the rabbitmq_exchange measurement. If not
  ## specified, metrics for all exchanges are gathered.
  # exchanges = ["telegraf"]

  ## Metrics to include and exclude. Globs accepted.
  ## Note that an empty array for both will include all metrics
  ## Currently the following metrics are supported: "exchange", "federation", "node", "overview", "queue"
  # metric_include = []
  # metric_exclude = []

  ## Queues to include and exclude. Globs accepted.
  ## Note that an empty array for both will include all queues
  # queue_name_include = []
  # queue_name_exclude = []

  ## Federation upstreams to include and exclude specified as an array of glob
  ## pattern strings.  Federation links can also be limited by the queue and
  ## exchange filters.
  # federation_upstream_include = []
  # federation_upstream_exclude = []

Azure 数据资源管理器

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

RabbitMQ

  1. 监控队列性能指标:使用 RabbitMQ 插件来跟踪队列性能随时间的变化。 这包括设置监控仪表板,以可视化关键队列指标,例如消息速率、消费者数量和消息传递速率。 通过此信息,团队可以通过分析趋势并就扩展或优化其 RabbitMQ 配置做出数据驱动的决策,从而主动解决任何瓶颈或性能问题。

  2. 系统运行状况警报:将 RabbitMQ 插件与警报系统集成,以在 RabbitMQ 实例中出现潜在问题时通知运营团队。 例如,如果未确认消息的数量达到临界阈值,或者队列不堪重负,则可以触发警报,从而可以立即进行调查并迅速采取补救措施以维护消息流的运行状况。

  3. 分析消息处理指标:使用该插件收集有关消息处理性能的详细指标,例如已发布、已确认和已重新传递的消息的速率。 通过分析这些指标,团队可以评估其消息消费者应用程序的效率,并在必要时调整配置或代码,从而提高整体系统吞吐量和弹性。

  4. 跨系统数据集成:利用 RabbitMQ 插件收集的指标来集成 RabbitMQ 和其他系统或服务之间的数据流。 例如,使用收集的指标来驱动自动化工作流或分析管道,这些工作流或分析管道利用 RabbitMQ 中处理的消息,使组织能够优化工作流并增强其生态系统中的数据敏捷性。

Azure 数据资源管理器

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure 数据资源管理器中,组织可以构建反映实时性能指标的综合仪表板。 这使团队能够主动响应性能问题并优化系统运行状况,而不会延迟。

  2. 集中式日志管理:利用 Azure 数据资源管理器来整合来自多个应用程序和服务的日志。 通过利用该插件,组织可以简化其日志分析流程,从而更轻松地搜索、过滤和从随时间累积的历史数据中获得见解。

  3. 数据驱动的警报系统:通过基于通过此插件发送的指标配置警报来增强监控功能。 组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键操作的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure 数据资源管理器的数据,组织可以执行大规模分析并准备数据以供输入到机器学习模型中。 此插件支持数据结构化,这些数据随后可用于预测分析,从而增强决策能力。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展性

收集、组织和处理海量高速数据。 当您将任何数据视为时序数据时,它会更有价值。 借助 InfluxDB,第一的时序平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成