Ceph 和 Azure Data Explorer 集成

借助 InfluxData 构建的开源数据连接器 Telegraf,实现强大性能和轻松集成。

info

对于大规模实时查询,这不是推荐的配置。为了实现查询和压缩优化、高速摄取和高可用性,您可能需要考虑 Ceph 和 InfluxDB

50 亿+

Telegraf 下载量

#1

时序数据库
来源:DB Engines

10 亿+

InfluxDB 下载量

2,800+

贡献者

目录

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它都会变得更有价值。借助 InfluxDB,这个排名第一的时序平台旨在通过 Telegraf 进行扩展。

查看入门方法

输入和输出集成概述

Telegraf 的 Ceph 插件有助于从 Ceph 存储集群中的 MON 和 OSD 节点收集性能指标,以实现有效的监控和管理。

Azure Data Explorer 插件允许将指标收集与 Azure Data Explorer 集成,使用户能够高效地分析和查询其遥测数据。借助此插件,用户可以配置摄取设置以满足他们的需求,并利用 Azure 强大的分析功能。

集成详细信息

Ceph

Ceph 存储 Telegraf 插件旨在从 Ceph 存储集群内的 Monitor (MON) 和 Object Storage Daemon (OSD) 节点收集性能指标。Ceph 是一种高度可扩展的存储系统,它通过此插件集成其指标收集,从而方便地监控其组件。随着此插件在 13.x Mimic 版本中的引入,用户可以有效地收集有关其 Ceph 基础设施的性能和运行状况的详细见解。它的工作原理是扫描配置的套接字目录以查找特定的 Ceph 服务套接字文件,通过 Ceph 管理界面执行命令,并解析返回的 JSON 数据以获取指标。指标基于顶层键进行组织,从而可以有效地监控和分析集群性能。此插件通过允许管理员了解系统行为并主动识别潜在问题,为管理和维护 Ceph 集群的性能提供了有价值的功能。

Azure Data Explorer

Azure Data Explorer 插件允许用户将从各种 Telegraf 输入插件收集的指标、日志和时序数据写入 Azure Data Explorer、Azure Synapse 和 Fabric 中的实时分析。此集成充当桥梁,使应用程序和服务能够有效地监控其性能指标或日志。Azure Data Explorer 针对对大量不同数据类型进行分析进行了优化,使其成为云环境中实时分析和监控解决方案的绝佳选择。该插件使用户能够根据其要求配置指标摄取,动态定义表架构,并设置各种摄取方法,同时保留数据库操作所需的角色和权限的灵活性。这支持利用云服务的现代应用程序的可扩展且安全的监控设置。

配置

Ceph

[[inputs.ceph]]
  ## This is the recommended interval to poll. Too frequent and you
  ## will lose data points due to timeouts during rebalancing and recovery
  interval = '1m'

  ## All configuration values are optional, defaults are shown below

  ## location of ceph binary
  ceph_binary = "/usr/bin/ceph"

  ## directory in which to look for socket files
  socket_dir = "/var/run/ceph"

  ## prefix of MON and OSD socket files, used to determine socket type
  mon_prefix = "ceph-mon"
  osd_prefix = "ceph-osd"
  mds_prefix = "ceph-mds"
  rgw_prefix = "ceph-client"

  ## suffix used to identify socket files
  socket_suffix = "asok"

  ## Ceph user to authenticate as, ceph will search for the corresponding
  ## keyring e.g. client.admin.keyring in /etc/ceph, or the explicit path
  ## defined in the client section of ceph.conf for example:
  ##
  ##     [client.telegraf]
  ##         keyring = /etc/ceph/client.telegraf.keyring
  ##
  ## Consult the ceph documentation for more detail on keyring generation.
  ceph_user = "client.admin"

  ## Ceph configuration to use to locate the cluster
  ceph_config = "/etc/ceph/ceph.conf"

  ## Whether to gather statistics via the admin socket
  gather_admin_socket_stats = true

  ## Whether to gather statistics via ceph commands, requires ceph_user
  ## and ceph_config to be specified
  gather_cluster_stats = false

Azure Data Explorer

[[outputs.azure_data_explorer]]
  ## The URI property of the Azure Data Explorer resource on Azure
  ## ex: endpoint_url = https://myadxresource.australiasoutheast.kusto.windows.net
  endpoint_url = ""

  ## The Azure Data Explorer database that the metrics will be ingested into.
  ## The plugin will NOT generate this database automatically, it's expected that this database already exists before ingestion.
  ## ex: "exampledatabase"
  database = ""

  ## Timeout for Azure Data Explorer operations
  # timeout = "20s"

  ## Type of metrics grouping used when pushing to Azure Data Explorer.
  ## Default is "TablePerMetric" for one table per different metric.
  ## For more information, please check the plugin README.
  # metrics_grouping_type = "TablePerMetric"

  ## Name of the single table to store all the metrics (Only needed if metrics_grouping_type is "SingleTable").
  # table_name = ""

  ## Creates tables and relevant mapping if set to true(default).
  ## Skips table and mapping creation if set to false, this is useful for running Telegraf with the lowest possible permissions i.e. table ingestor role.
  # create_tables = true

  ##  Ingestion method to use.
  ##  Available options are
  ##    - managed  --  streaming ingestion with fallback to batched ingestion or the "queued" method below
  ##    - queued   --  queue up metrics data and process sequentially
  # ingestion_type = "queued"

输入和输出集成示例

Ceph

  1. 动态监控仪表板:利用 Ceph 插件创建一个实时监控仪表板,以可视化方式表示 Ceph 集群的性能指标。通过将这些指标集成到集中式仪表板中,系统管理员可以立即深入了解存储基础设施的运行状况,这有助于快速识别和解决潜在问题,防止问题升级。

  2. 自动化警报系统:结合警报解决方案实施 Ceph 插件,以自动通知管理员 Ceph 集群内的性能下降或操作问题。通过定义关键指标的阈值,组织可以确保及时的响应措施,从而提高整体系统可靠性和性能。

  3. 性能基准测试:使用此插件收集的指标,对 Ceph 存储集群的不同配置或硬件设置执行性能基准测试。此过程可以帮助组织识别可增强性能和资源利用率的最佳配置,从而促进更高效的存储环境。

  4. 容量规划和预测:将从 Ceph 存储插件收集的指标集成到更广泛的数据分析和报告工具中,以促进容量规划。通过分析历史指标,组织可以预测未来的利用率趋势,从而为有效扩展存储资源做出明智的决策。

Azure Data Explorer

  1. 实时监控仪表板:通过使用此插件将来自各种服务的指标集成到 Azure Data Explorer 中,组织可以构建反映实时性能指标的综合仪表板。这使团队能够主动响应性能问题并立即优化系统运行状况。

  2. 集中式日志管理:利用 Azure Data Explorer 来整合来自多个应用程序和服务的日志。通过利用该插件,组织可以简化其日志分析流程,从而更轻松地搜索、过滤和从随时间累积的历史数据中获取见解。

  3. 数据驱动的警报系统:通过基于通过此插件发送的指标配置警报来增强监控功能。组织可以设置阈值并自动化事件响应,从而显着减少停机时间并提高关键操作的可靠性。

  4. 机器学习模型训练:通过利用发送到 Azure Data Explorer 的数据,组织可以执行大规模分析并准备数据以馈送到机器学习模型中。此插件支持构建可随后用于预测分析的数据结构,从而增强决策能力。

反馈

感谢您成为我们社区的一份子!如果您有任何一般性反馈或在这些页面上发现任何错误,我们欢迎并鼓励您提出意见。请在 InfluxDB 社区 Slack 中提交您的反馈。

强大性能,无限扩展

收集、组织和处理海量高速数据。当您将任何数据视为时序数据时,它都会变得更有价值。借助 InfluxDB,这个排名第一的时序平台旨在通过 Telegraf 进行扩展。

查看入门方法

相关集成

HTTP 和 InfluxDB 集成

HTTP 插件从一个或多个 HTTP(S) 端点收集指标。它支持各种身份验证方法和数据格式的配置选项。

查看集成

Kafka 和 InfluxDB 集成

此插件从 Kafka 读取消息,并允许基于这些消息创建指标。它支持各种配置,包括不同的 Kafka 设置和消息处理选项。

查看集成

Kinesis 和 InfluxDB 集成

Kinesis 插件允许从 AWS Kinesis 流中读取指标。它支持多种输入数据格式,并提供 DynamoDB 的检查点功能,以实现可靠的消息处理。

查看集成