Azure Data Explorer 与 M3

Azure Data Explorer 概述

Azure Data Explorer 是一个基于云的、完全托管的大数据分析平台，作为 Microsoft Azure 平台的一部分提供。它由微软于 2018 年发布，并作为 PaaS 产品提供。Azure Data Explorer 为摄取和查询遥测、日志和时间序列数据提供了高性能功能。

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分发存储，并高效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Azure Data Explorer 用于时间序列数据

Azure Data Explorer 非常适合处理时间序列数据。其高性能功能和摄取大量数据的能力使其适用于近乎实时地分析和查询时间序列数据。凭借其高级查询运算符（例如计算列、在行上搜索和筛选、按聚合分组和连接），Azure Data Explorer 能够高效地分析时间序列数据。其可扩展的架构和分布式特性确保它可以有效地处理时间序列数据的速度和容量要求。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Azure Data Explorer 关键概念

• 关系数据模型：Azure Data Explorer 是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同，Azure Data Explorer 不强制执行键唯一性、主键或外键等约束。相反，必要的关联关系在查询时建立。
• Kusto 查询语言 (KQL)：Azure Data Explorer 使用 KQL，这是一种功能强大且富有表现力的查询语言，使用户能够轻松探索和分析他们的数据。
• 扩展：在 Azure Data Explorer 中，数据被组织成称为扩展的单元，这些单元是不可变的、压缩的记录集，可以高效地存储和查询。

M3 关键概念

• 时间序列压缩：M3 具有压缩时间序列数据的能力，从而显着节省内存和磁盘空间。它使用两种压缩算法 M3TSZ 和 protobuf 编码来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Azure Data Explorer 架构

Azure Data Explorer 构建在云原生分布式架构之上，该架构同时支持 NoSQL 和类 SQL 查询功能。它是一个基于列式存储的数据库，利用压缩的、不可变的数据扩展来实现高效的存储和检索。Azure Data Explorer 架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据，而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储时间序列值的压缩流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流式处理负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。