Azure Monitor 和 Google BigQuery 集成

强大的性能和简单的集成,由 Telegraf 提供支持,Telegraf 是 InfluxData 构建的开源数据连接器。

info

这不是大规模实时查询的推荐配置。 为了查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Azure Monitor 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它会更有价值。 使用 InfluxDB,第一名的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

使用 Azure Monitor API 从 Azure 资源收集指标。

Google BigQuery 插件允许 Telegraf 将指标写入 Google Cloud BigQuery,从而为遥测数据实现强大的数据分析功能。

集成详情

Azure Monitor

Azure Monitor Telegraf 插件专为使用 Azure Monitor API 从各种 Azure 资源收集指标而设计。 用户必须提供特定的凭据,例如 client_idclient_secrettenant_idsubscription_id,以进行身份验证并获得对其 Azure 资源的访问权限。 此外,该插件还支持从单个资源和资源组或订阅收集指标的功能,从而可以根据用户需求灵活且可扩展地收集指标。 此插件非常适合利用 Azure 云基础设施的组织,可以深入了解资源性能和随时间推移的利用率,从而促进云资源的积极管理和优化。

Google BigQuery

Telegraf 的 Google BigQuery 插件实现了与 Google Cloud 的 BigQuery 服务的无缝集成,BigQuery 服务是一个流行的数据仓库和分析平台。 此插件有助于将 Telegraf 收集的指标传输到 BigQuery 数据集中,从而使用户更容易从其遥测数据中执行分析并生成见解。 它需要通过服务帐户或用户凭据进行身份验证,并且旨在处理各种数据类型,确保用户可以在 BigQuery 表中存储指标时保持其完整性和准确性。 配置选项允许自定义数据集规范和处理指标,包括管理指标名称中的连字符,流式插入不支持连字符。 此插件对于利用 BigQuery 的可扩展性和强大的查询功能来分析大量监控数据的组织特别有用。

配置

Azure Monitor

# Gather Azure resources metrics from Azure Monitor API
[[inputs.azure_monitor]]
  # can be found under Overview->Essentials in the Azure portal for your application/service
  subscription_id = "<>"
  # can be obtained by registering an application under Azure Active Directory
  client_id = "<>"
  # can be obtained by registering an application under Azure Active Directory.
  # If not specified Default Azure Credentials chain will be attempted:
  # - Environment credentials (AZURE_*)
  # - Workload Identity in Kubernetes cluster
  # - Managed Identity
  # - Azure CLI auth
  # - Developer Azure CLI auth
  client_secret = "<>"
  # can be found under Azure Active Directory->Properties
  tenant_id = "<>"
  # Define the optional Azure cloud option e.g. AzureChina, AzureGovernment or AzurePublic. The default is AzurePublic.
  # cloud_option = "AzurePublic"

  # resource target #1 to collect metrics from
  [[inputs.azure_monitor.resource_target]]
    # can be found under Overview->Essentials->JSON View in the Azure portal for your application/service
    # must start with 'resourceGroups/...' ('/subscriptions/xxxxxxxx-xxxx-xxxx-xxx-xxxxxxxxxxxx'
    # must be removed from the beginning of Resource ID property value)
    resource_id = "<>"
    # the metric names to collect
    # leave the array empty to use all metrics available to this resource
    metrics = [ "<>", "<>" ]
    # metrics aggregation type value to collect
    # can be 'Total', 'Count', 'Average', 'Minimum', 'Maximum'
    # leave the array empty to collect all aggregation types values for each metric
    aggregations = [ "<>", "<>" ]

  # resource target #2 to collect metrics from
  [[inputs.azure_monitor.resource_target]]
    resource_id = "<>"
    metrics = [ "<>", "<>" ]
    aggregations = [ "<>", "<>" ]

  # resource group target #1 to collect metrics from resources under it with resource type
  [[inputs.azure_monitor.resource_group_target]]
    # the resource group name
    resource_group = "<>"

    # defines the resources to collect metrics from
    [[inputs.azure_monitor.resource_group_target.resource]]
      # the resource type
      resource_type = "<>"
      metrics = [ "<>", "<>" ]
      aggregations = [ "<>", "<>" ]

    # defines the resources to collect metrics from
    [[inputs.azure_monitor.resource_group_target.resource]]
      resource_type = "<>"
      metrics = [ "<>", "<>" ]
      aggregations = [ "<>", "<>" ]

  # resource group target #2 to collect metrics from resources under it with resource type
  [[inputs.azure_monitor.resource_group_target]]
    resource_group = "<>"

    [[inputs.azure_monitor.resource_group_target.resource]]
      resource_type = "<>"
      metrics = [ "<>", "<>" ]
      aggregations = [ "<>", "<>" ]

  # subscription target #1 to collect metrics from resources under it with resource type
  [[inputs.azure_monitor.subscription_target]]
    resource_type = "<>"
    metrics = [ "<>", "<>" ]
    aggregations = [ "<>", "<>" ]

  # subscription target #2 to collect metrics from resources under it with resource type
  [[inputs.azure_monitor.subscription_target]]
    resource_type = "<>"
    metrics = [ "<>", "<>" ]
    aggregations = [ "<>", "<>" ]
</code></pre>

Google BigQuery

# Configuration for Google Cloud BigQuery to send entries
[[outputs.bigquery]]
  ## Credentials File
  credentials_file = "/path/to/service/account/key.json"

  ## Google Cloud Platform Project
  # project = ""

  ## The namespace for the metric descriptor
  dataset = "telegraf"

  ## Timeout for BigQuery operations.
  # timeout = "5s"

  ## Character to replace hyphens on Metric name
  # replace_hyphen_to = "_"

  ## Write all metrics in a single compact table
  # compact_table = ""
  

输入和输出集成示例

Azure Monitor

  1. 动态资源监控:使用 Azure Monitor 插件根据特定条件(如标签或资源类型)动态收集 Azure 资源的指标。 组织可以自动化加载和卸载资源指标的过程,从而根据资源利用率模式更好地进行性能跟踪和优化。

  2. 多云监控集成:使用集中式监控解决方案集成从 Azure Monitor 和其他云提供商处收集的指标。 这使组织可以查看和分析跨多个云部署的性能数据,从而全面了解资源性能和成本,并简化运营。

  3. 异常检测和警报:结合机器学习算法,利用通过 Azure Monitor 插件收集的指标来检测资源利用率中的异常。 通过建立基线性能指标并自动警报偏差,组织可以在风险升级之前减轻风险并解决性能问题。

  4. 历史性能分析:通过将数据馈送到数据仓库解决方案,使用收集的 Azure 指标进行历史分析。 这使组织可以跟踪随时间推移的趋势,从而根据历史性能数据进行详细的报告和决策。

Google BigQuery

  1. 实时分析仪表板:利用 Google BigQuery 插件将实时指标馈送到 Google Cloud 上托管的自定义分析仪表板中。 此设置将允许团队实时可视化性能数据,从而深入了解系统运行状况和使用模式。 通过使用 BigQuery 的查询功能,用户可以轻松创建量身定制的报告和仪表板,以满足其特定需求,从而增强决策过程。

  2. 成本管理和优化分析:利用该插件自动将来自各种服务的成本相关指标发送到 BigQuery。 分析这些数据可以帮助企业识别不必要的费用并优化资源使用。 通过在 BigQuery 中执行聚合和转换查询,组织可以创建准确的预测并有效地管理其云支出。

  3. 跨团队协作监控数据:使组织内不同的团队能够使用 BigQuery 共享其监控数据。 在此 Telegraf 插件的帮助下,团队可以将其指标推送到中央 BigQuery 实例,从而促进协作。 这种数据共享方法鼓励最佳实践和跨职能意识,从而共同改进系统性能和可靠性。

  4. 容量规划的历史分析:通过使用 BigQuery 插件,公司可以收集和存储容量规划必不可少的历史指标数据。 分析随时间推移的趋势可以帮助预测系统需求并主动扩展基础设施。 组织可以创建时间序列分析并识别告知其长期战略决策的模式。

反馈

感谢您成为我们社区的一份子! 如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提供意见。 请在 InfluxDB 社区 Slack 中提交您的反馈。

强大的性能,无限的扩展

收集、组织和处理海量高速数据。 当您将任何数据视为时间序列数据时,它会更有价值。 使用 InfluxDB,第一名的时间序列平台,旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。 它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。 它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。 它支持多种输入数据格式,并提供使用 DynamoDB 的检查点功能以实现可靠的消息处理。

查看集成