Fluentd 和 Azure Data Explorer 集成

强大的性能与简单的集成,由 InfluxData 构建的开源数据连接器 Telegraf 提供支持。

info

对于大规模实时查询,这不是推荐的配置。为了获得查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Fluentd 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时间序列数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理大量高速数据。当您将任何数据视为时间序列数据时,它会更有价值。借助 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

输入和输出集成概述

Fluentd 输入插件从 Fluentd 的 in_monitor 插件端点收集指标。它提供对各种插件指标的洞察,同时允许自定义配置以减少序列基数。

Azure Data Explorer 插件允许与 Azure Data Explorer 集成指标收集,使用户能够高效地分析和查询其遥测数据。借助此插件,用户可以配置摄取设置以满足其需求,并利用 Azure 强大的分析功能。

集成详情

Fluentd

此插件从 in_monitor 插件提供的 Fluentd 插件端点收集指标。它从 /api/plugin.json 资源读取数据,并允许根据插件类型排除特定插件。

Azure Data Explorer

Azure Data Explorer 插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时间序列数据写入 Azure Data Explorer、Azure Synapse 和 Fabric 中的实时分析。此集成充当桥梁,使应用程序和服务能够高效地监控其性能指标或日志。Azure Data Explorer 针对大量不同数据类型的分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。该插件使用户能够根据其需求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需的角色和权限的灵活性。这支持现代应用程序的可扩展且安全的监控设置,这些应用程序利用云服务。

配置

Fluentd

[[inputs.fluentd]]
  ## This plugin reads information exposed by fluentd (using /api/plugins.json endpoint).
  ##
  ## Endpoint:
  ## - only one URI is allowed
  ## - https is not supported
  endpoint = "http://localhost:24220/api/plugins.json"

  ## Define which plugins have to be excluded (based on "type" field - e.g. monitor_agent)
  exclude = [
    "monitor_agent",
    "dummy",
  ]

Azure Data Explorer

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

Fluentd

  1. 基本配置:设置 Fluentd 输入插件以从您的 Fluentd 实例的监控端点收集指标,确保您能够跟踪性能和使用统计信息。
  2. 排除插件:使用 exclude 选项忽略您的监控需求不必要的特定插件指标,从而简化数据收集并专注于重要事项。
  3. 自定义插件 ID:在您的 Fluentd 配置中实现 @id 参数以保持一致的 plugin_id,这有助于避免频繁重启期间出现高序列基数的问题。

Azure Data Explorer

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure Data Explorer 中,组织可以构建反映实时性能指标的综合仪表板。这使团队能够主动响应性能问题并优化系统健康状况,而不会延误。

  2. 集中式日志管理:利用 Azure Data Explorer 来整合来自多个应用程序和服务的日志。通过利用该插件,组织可以简化其日志分析流程,使其更容易搜索、过滤和从随时间累积的历史数据中获取见解。

  3. 数据驱动的警报系统:通过配置基于通过此插件发送的指标的警报来增强监控功能。组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键操作的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure Data Explorer 的数据,组织可以执行大规模分析并准备数据以馈送到机器学习模型中。此插件支持构建可随后用于预测分析的数据结构,从而提高决策能力。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理大量高速数据。当您将任何数据视为时间序列数据时,它会更有价值。借助 InfluxDB,这是 #1 的时间序列平台,旨在与 Telegraf 一起扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供带有 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成