Azure 数据资源管理器与 Graphite

Azure 数据资源管理器概述

Azure 数据资源管理器是一个基于云的、完全托管的大数据分析平台，作为 Microsoft Azure 平台的一部分提供。它由 Microsoft 于 2018 年宣布，并以 PaaS 产品形式提供。Azure 数据资源管理器为摄取和查询遥测数据、日志和时序数据提供高性能能力。

Graphite 概述

Graphite 是一个开源监控和绘图工具，由 Orbitz 于 2006 年创建，并于 2008 年开源。Graphite 专为存储时序数据而设计，广泛用于收集、存储和可视化来自各种来源的指标，例如应用程序性能、系统监控和业务分析。

Azure 数据资源管理器用于时序数据

Azure 数据资源管理器非常适合处理时序数据。其高性能能力和摄取大量数据的能力使其适合近乎实时地分析和查询时序数据。凭借其高级查询运算符，例如计算列、在行上搜索和筛选、按组聚合和联接，Azure 数据资源管理器能够高效分析时序数据。其可扩展的架构和分布式特性确保它可以有效地处理时序数据的速度和容量要求。

Graphite 用于时序数据

Graphite 专门为时序数据设计和优化。它使用 Whisper 数据库格式，该格式通过根据用户定义的保留策略自动聚合和过期数据来有效地存储和管理时序数据。Graphite 支持广泛的函数，用于查询、转换和聚合时序数据，使用户能够创建自定义图形和仪表板。但是，由于 Graphite 专门关注时序数据，因此它可能不适用于其他类型的数据或需要更高级的数据建模或查询功能的用例。

Azure 数据资源管理器关键概念

• 关系数据模型：Azure 数据资源管理器是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同，Azure 数据资源管理器不强制执行诸如键唯一性、主键或外键之类的约束。相反，必要的关联关系在查询时建立。
• Kusto 查询语言 (KQL)：Azure 数据资源管理器使用 KQL，这是一种强大而富有表现力的查询语言，使用户能够轻松探索和分析其数据。
• 扩展区：在 Azure 数据资源管理器中，数据被组织成称为扩展区的单元，这些单元是不可变的、压缩的记录集，可以有效地存储和查询。

Graphite 关键概念

• 指标：Graphite 中的指标表示时序数据点，由路径（名称）、时间戳和值组成。
• 序列：序列是与同一事物相关的所有指标的集合。例如，您可能有一个 CPU 使用率序列、一个内存使用率序列和一个磁盘使用率序列。
• Whisper：Whisper 是 Graphite 使用的固定大小、基于文件的时序数据库格式。它自动管理数据保留和聚合。
• Carbon：Carbon 是负责在 Graphite 中接收、缓存和存储指标的守护程序。它侦听传入的指标并将它们写入 Whisper 文件。
• Graphite-web：Graphite-web 是 Web 应用程序，它为可视化和查询存储的时序数据提供用户界面。

Azure 数据资源管理器架构

Azure 数据资源管理器构建在云原生分布式架构之上，该架构同时支持 NoSQL 和类似 SQL 的查询功能。它是一个基于列式存储的数据库，利用压缩的、不可变的数据扩展区来实现高效的存储和检索。Azure 数据资源管理器的架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据，而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。

Graphite 架构

Graphite 的架构由多个组件组成，包括 Carbon、Whisper 和 Graphite-web。Carbon 负责从各种来源接收指标，将它们缓存在内存中，并将它们存储在 Whisper 文件中。Whisper 是一种基于文件的时序数据库格式，可有效管理数据保留和聚合。Graphite-web 是 Web 应用程序，它为查询和可视化存储的时序数据提供用户界面。Graphite 可以部署在单个服务器上，也可以跨多个服务器分布以提高性能和可扩展性。