Azure Data Explorer 与 DataBend

Azure Data Explorer 概述

Azure Data Explorer 是一个基于云的、完全托管的大数据分析平台，作为 Microsoft Azure 平台的一部分提供。它由 Microsoft 于 2018 年宣布推出，并以 PaaS 产品的形式提供。Azure Data Explorer 为摄取和查询遥测数据、日志和时序数据提供了高性能能力。

DataBend 概述

DataBend 是一个开源的、云原生数据处理和分析平台，旨在为大数据工作负载提供高性能、经济高效且可扩展的解决方案。该项目由开发者、研究人员和行业专业人士组成的社区推动，旨在创建一个统一的数据处理平台，将批处理和流处理能力与高级分析功能相结合。DataBend 的灵活架构允许用户构建各种应用，从实时分析到大规模数据仓库。

Azure Data Explorer 用于时序数据

Azure Data Explorer 非常适合处理时序数据。其高性能能力和摄取大量数据的能力使其适用于近乎实时地分析和查询时序数据。凭借其高级查询运算符，例如计算列、行搜索和过滤、group by 聚合和 joins，Azure Data Explorer 能够有效地分析时序数据。其可扩展的架构和分布式特性确保它可以有效地处理时序数据的速度和容量要求。

DataBend 用于时序数据

DataBend 的架构和处理能力使其成为处理时序数据的合适选择。它对批处理和流数据处理的支持允许用户大规模地摄取、存储和分析时序数据。此外，DataBend 与 Apache Arrow 的集成及其强大的查询执行框架实现了对时序数据的高效查询和分析，使其成为需要实时洞察和分析的应用的通用选择。

Azure Data Explorer 关键概念

• 关系数据模型：Azure Data Explorer 是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同，Azure Data Explorer 不强制执行诸如键唯一性、主键或外键之类的约束。相反，必要的关联关系在查询时建立。
• Kusto 查询语言 (KQL)：Azure Data Explorer 使用 KQL，一种强大且富有表现力的查询语言，使用户能够轻松地探索和分析他们的数据。
• 区段 (Extents)：在 Azure Data Explorer 中，数据被组织成称为区段的单元，这些单元是不可变的、压缩的记录集，可以高效地存储和查询。

DataBend 关键概念

• DataFusion：DataFusion 是 DataBend 的核心组件，提供了一个可扩展的查询执行框架，支持 SQL 和基于 DataFrame 的查询 API。
• Ballista：Ballista 是 DataBend 内的一个分布式计算平台，构建在 DataFusion 之上，允许高效且可扩展地执行大规模数据处理任务。
• Arrow：DataBend 利用 Apache Arrow，一种内存列式数据格式，以实现组件之间的高效数据交换并优化查询性能。

Azure Data Explorer 架构

Azure Data Explorer 构建在云原生、分布式架构之上，该架构支持 NoSQL 和类 SQL 查询功能。它是一个基于列式存储的数据库，利用压缩的、不可变的数据区段来实现高效的存储和检索。Azure Data Explorer 架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据，而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。

DataBend 架构

DataBend 构建在云原生、分布式架构之上，该架构支持 NoSQL 和类 SQL 查询功能。其模块化设计允许用户根据其特定用例和需求选择和组合组件。DataBend 架构的核心组件包括 DataFusion、Ballista 和存储层。DataFusion 负责查询执行和优化，而 Ballista 支持大规模数据处理任务的分布式计算。DataBend 中的存储层可以配置为与各种存储后端（例如对象存储或分布式文件系统）一起工作。