Azure 数据资源管理器与 Apache Pinot

Azure 数据资源管理器概述

Azure 数据资源管理器是一个基于云的、完全托管的大数据分析平台，作为 Microsoft Azure 平台的一部分提供。它由 Microsoft 在 2018 年宣布，并作为 PaaS 产品提供。Azure 数据资源管理器为摄取和查询遥测数据、日志和时序数据提供了高性能功能。

Apache Pinot 概述

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟响应复杂的分析查询。它最初在 LinkedIn 开发，后来于 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，为大型数据集上的复杂查询提供近乎瞬时的响应。它被多家大型组织使用，如 LinkedIn、Microsoft 和 Uber。

Azure 数据资源管理器用于时序数据

Azure 数据资源管理器非常适合处理时序数据。其高性能功能和摄取大量数据的能力使其适用于近乎实时地分析和查询时序数据。凭借其高级查询运算符，如计算列、行搜索和筛选、分组聚合和连接，Azure 数据资源管理器能够高效地分析时序数据。其可扩展的架构和分布式特性确保它可以有效地处理时序数据的速度和容量要求。

Apache Pinot 用于时序数据

Apache Pinot 是处理时序数据的可靠选择，因为它具有列式存储和实时摄取能力。Pinot 从 Apache Kafka 等流媒体摄取数据的能力确保了时序数据可以在生成时进行分析，此外还可以选择批量摄取数据。

Azure 数据资源管理器关键概念

• 关系数据模型：Azure 数据资源管理器是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同，Azure 数据资源管理器不强制执行键唯一性、主键或外键等约束。相反，必要的关联关系在查询时建立。
• Kusto 查询语言 (KQL)：Azure 数据资源管理器使用 KQL，这是一种强大而富有表现力的查询语言，使用户能够轻松地探索和分析他们的数据。
• 扩展：在 Azure 数据资源管理器中，数据被组织成称为扩展的单元，这些单元是不可变的、压缩的记录集，可以高效地存储和查询。

Apache Pinot 关键概念

• 段：段是 Pinot 中数据存储的基本单元。它是一种列式存储格式，包含表数据的子集。
• 表：Pinot 中的表是段的集合。
• 控制器：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• 代理：代理负责接收查询，将查询路由到适当的服务器，并将结果返回给客户端。
• 服务器：服务器存储段并处理这些段上的查询。

Azure 数据资源管理器架构

Azure 数据资源管理器构建在云原生的分布式架构之上，该架构支持 NoSQL 和类 SQL 查询功能。它是一个基于列式存储的数据库，利用压缩的、不可变的数据扩展来实现高效的存储和检索。Azure 数据资源管理器架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据，而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，它使用混合数据模型，结合了 NoSQL 和 SQL 数据库的特性。其架构由三个主要组件组成：控制器、代理和服务器。控制器管理元数据和集群操作，而代理处理查询路由，服务器存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。