Google Cloud PubSub 和 Azure Data Explorer 集成

强大的性能和简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模的实时查询,这不是推荐的配置。为了进行查询和压缩优化、高速摄取和高可用性,您可能需要考虑Google Cloud PubSub 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。使用 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

此插件从 Google Cloud PubSub 摄取指标,从而实现实时数据处理和集成到监控设置中。

Azure Data Explorer 插件允许将指标收集与 Azure Data Explorer 集成,使用户能够高效地分析和查询其遥测数据。借助此插件,用户可以配置摄取设置以满足其需求,并利用 Azure 强大的分析功能。

集成详细信息

Google Cloud PubSub

Google Cloud PubSub 输入插件旨在从 Google Cloud PubSub 摄取指标,Google Cloud PubSub 是一种消息传递服务,有助于不同系统之间的实时通信。它允许用户通过从 Google Cloud 项目中的指定订阅中拉取消息来创建和处理指标。此插件的关键功能之一是它能够作为服务输入运行,主动侦听传入的消息,而不是仅仅以设定的时间间隔轮询指标。通过各种配置选项,用户可以自定义消息摄取的行为,例如处理凭据、管理消息大小以及调整确认设置,以确保仅在成功处理后才确认消息。通过利用 Google PubSub 的优势,此插件与云原生架构无缝集成,使用户能够构建强大且可扩展的应用程序,从而可以实时响应事件。

Azure Data Explorer

Azure Data Explorer 插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时间序列数据写入 Azure Data Explorer、Azure Synapse 和 Fabric 中的实时分析。此集成充当桥梁,使应用程序和服务能够有效地监控其性能指标或日志。Azure Data Explorer 针对大量不同数据类型的分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。该插件使用户能够根据其需求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需的角色和权限的灵活性。这支持利用云服务的现代应用程序的可扩展且安全的监控设置。

配置

Google Cloud PubSub

[[inputs.cloud_pubsub]]
  project = "my-project"
  subscription = "my-subscription"
  data_format = "influx"
  # credentials_file = "path/to/my/creds.json"
  # retry_delay_seconds = 5
  # max_message_len = 1000000
  # max_undelivered_messages = 1000
  # max_extension = 0
  # max_outstanding_messages = 0
  # max_outstanding_bytes = 0
  # max_receiver_go_routines = 0
  # base64_data = false
  # content_encoding = "identity"
  # max_decompression_size = "500MB"

Azure Data Explorer

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

Google Cloud PubSub

  1. 物联网设备的实时分析:利用 Google Cloud PubSub 插件聚合来自分散在各个位置的物联网设备的指标。通过将设备数据流式传输到 Google PubSub 并使用此插件摄取指标,组织可以创建集中式仪表板以进行实时监控和警报。此设置允许立即洞察设备性能,从而促进主动维护和运营效率。

  2. 动态日志处理和监控:通过 Google Cloud PubSub 将来自众多来源的日志摄取到 Telegraf 管道中,利用该插件解析和分析日志消息。这可以帮助团队快速识别日志中的异常或模式,并简化跨分布式系统的问题排查过程。通过整合日志数据,组织可以增强其可观察性和响应能力。

  3. 事件驱动的工作流集成:使用 Google Cloud PubSub 插件连接各种云函数或服务。每次有新消息推送到订阅时,都可以在云架构的其他部分触发操作,例如启动数据处理作业、通知,甚至报告更新。这种事件驱动的方法允许构建更具反应性的系统架构,该架构可以适应不断变化的业务需求。

Azure Data Explorer

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure Data Explorer 中,组织可以构建反映实时性能指标的综合仪表板。这使团队能够主动响应性能问题并优化系统健康状况,而不会造成延迟。

  2. 集中式日志管理:利用 Azure Data Explorer 整合来自多个应用程序和服务的日志。通过利用该插件,组织可以简化其日志分析流程,从而更轻松地搜索、筛选和从随时间累积的历史数据中获取见解。

  3. 数据驱动的警报系统:通过根据通过此插件发送的指标配置警报,增强监控功能。组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键运营的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure Data Explorer 的数据,组织可以执行大规模分析并准备数据以馈送到机器学习模型中。此插件支持构建可随后用于预测分析的数据结构,从而增强决策能力。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现了任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展能力

收集、组织和处理海量高速数据。当您将任何数据视为时间序列数据时,它都更有价值。使用 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成