在构建任何软件应用程序时,选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,为您的特定用例和数据模型决定哪个数据库具有最多的优势和最少的缺点是一个重要的决定。下面您将找到 Azure 数据资源管理器和 Apache Druid 的关键概念、架构、功能、用例和定价模型的概述,以便您可以快速了解它们之间的比较。

本文的主要目的是比较 Azure 数据资源管理器和 Apache Druid 在涉及时间序列数据的工作负载中的性能,而不是所有可能的用例。时间序列数据通常在数据库性能方面提出独特的挑战。这是由于正在写入的大量数据以及访问该数据的查询模式。本文无意论证哪个数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。

Azure 数据资源管理器与 Apache Druid 的细分


 
数据库模型

列式数据库

列式数据库

架构

ADX 可以作为托管服务部署在 Azure 云中,并且可以轻松地与其他 Azure 服务和工具集成,以实现无缝数据处理和分析。

Druid 可以部署在本地、云中或使用托管服务

许可证

闭源

Apache 2.0

用例

日志和遥测数据分析、实时分析、安全和合规性分析、物联网数据处理

实时分析、OLAP、时间序列数据、事件驱动型数据、日志分析、广告技术、用户行为分析

可扩展性

高度可扩展,支持水平扩展、分片和分区

水平可扩展,支持分布式架构,实现高可用性和高性能

正在寻找最有效率的入门方式?

无论您是寻求节省成本、降低管理开销还是开源,InfluxDB 都能提供帮助。

Azure 数据资源管理器概览

Azure 数据资源管理器是一个基于云的完全托管的大数据分析平台,作为 Microsoft Azure 平台的一部分提供。它由 Microsoft 于 2018 年宣布推出,并作为 PaaS 产品提供。Azure 数据资源管理器为摄取和查询遥测数据、日志和时间序列数据提供了高性能能力。

Apache Druid 概览

Apache Druid 是一个开源实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,后来于 2018 年捐赠给 Apache 软件基金会,因其处理大量数据和低延迟的能力而广受欢迎。Druid 具有独特的架构,结合了时间序列数据库、搜索系统和列式存储的元素,特别适合用于涉及事件驱动型数据和交互式分析的用例。


Azure 数据资源管理器用于时间序列数据

Azure 数据资源管理器非常适合处理时间序列数据。其高性能能力和摄取大量数据的能力使其适用于近乎实时地分析和查询时间序列数据。凭借其高级查询运算符,例如计算列、在行上搜索和筛选、按聚合分组和联接,Azure 数据资源管理器能够高效分析时间序列数据。其可扩展的架构和分布式特性确保它可以有效地处理时间序列数据的速度和容量要求。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供将历史数据存储在更便宜的对象存储中的集成,因此也可以使用 Druid 分析历史时间序列数据。


Azure 数据资源管理器关键概念

  • 关系数据模型:Azure 数据资源管理器是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同,Azure 数据资源管理器不强制执行键唯一性、主键或外键等约束。相反,必要的关联关系在查询时建立。
  • Kusto 查询语言 (KQL):Azure 数据资源管理器使用 KQL,一种功能强大且富有表现力的查询语言,使用户能够轻松探索和分析他们的数据。
  • 扩展区:在 Azure 数据资源管理器中,数据被组织成称为扩展区的单元,这些单元是不可变的、压缩的记录集,可以高效地存储和查询。

Apache Druid 关键概念

  • 数据摄取:将数据从各种来源(例如流式或批量数据源)导入 Druid 的过程。
  • :Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
  • 数据汇总:在摄取期间聚合原始数据的过程,以减少存储需求并提高查询性能。
  • 节点:Druid 的架构由不同类型的节点组成,包括历史节点、Broker 节点、协调器节点和 MiddleManager/Overlord 节点,每个节点都有特定的职责。
  • 索引服务:Druid 的索引服务管理摄取数据、创建段并将它们发布到深度存储的过程。


Azure 数据资源管理器架构

Azure 数据资源管理器构建于云原生分布式架构之上,该架构同时支持 NoSQL 和类 SQL 查询功能。它是一个基于列式存储的数据库,利用压缩的、不可变的数据扩展区来实现高效的存储和检索。Azure 数据资源管理器架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据,而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。

Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储,专为对大型数据集进行实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

  • 历史节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点,它们从深度存储加载段,将它们保留在内存中,然后处理对这些段的查询。在考虑部署和管理时,这些节点通常位于配备了大量内存和 CPU 资源的计算机上。它们的可扩展性是显而易见的,因为只需合并更多节点即可水平扩展它们。
  • Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的历史节点或实时节点。有趣的是,它们是无状态的,这意味着可以扩展它们以适应查询并发性的增加。
  • 协调器节点具有管理角色,负责监督数据在历史节点中的分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的协调器节点,以及一个备用节点,用于故障转移场景。
  • Overlord 节点指示摄取任务的分配,将它们定向到 middle manager 节点或索引器节点。它们的部署与协调器节点的部署类似,通常有一个活动的 overlord 节点和一个备份节点用于冗余。
  • MiddleManager 节点和索引器节点是 Druid 中数据摄取的工作主力。虽然 MiddleManager 节点启动用于数据摄取的短时任务,但索引器节点专为长时间运行的任务而设计。鉴于其密集型操作,这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的,允许根据数据摄取量进行水平扩展。
  • 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 Blob 存储解决方案集成,例如 HDFS、S3 和 Google Cloud Storage。
  • 元数据存储库是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容,用于此目的,包括 MySQL、PostgreSQL 和 Derby。

免费时间序列数据库指南

获取对备选方案和选择您的数据库的关键要求的全面审查。

Azure 数据资源管理器功能

高性能数据摄取

Azure 数据资源管理器可以以每个节点每秒 200 MB 的速率摄取数据,提供快速高效的数据摄取能力。

数据可视化

Azure 数据资源管理器与流行的数据可视化工具(如 Power BI、Grafana 和 Jupyter Notebooks)无缝集成,使用户可以轻松地可视化和分析他们的数据。

高级分析

Kusto 查询语言 (KQL) 支持高级分析功能,例如时间序列分析、模式识别和异常检测,使用户能够从他们的数据中获得更深入的见解。

灵活的模式

与传统的关联式数据库不同,Azure 数据资源管理器不强制执行键唯一性、主键或外键等约束。这种灵活性允许动态模式更改以及处理半结构化和非结构化数据的能力。

Apache Druid 功能

数据摄取

Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源(如 Kafka、Hadoop 或本地文件)的数据。凭借对数据分区、复制和汇总的内置支持,Druid 确保了高可用性和高效存储。

可扩展性和性能

Druid 旨在水平扩展,为大规模部署提供支持,同时最大限度地减少性能下降。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。

列式存储

Druid 以列式格式存储数据,与基于行的存储系统相比,可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。

时间优化索引

Druid 的索引服务创建具有基于时间的段分区,从而优化了时间序列数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总

Druid 的数据汇总功能在摄取期间聚合原始数据,从而减少了存储需求并提高了查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有利。


Azure 数据资源管理器用例

日志分析

Azure 数据资源管理器通常用于日志分析,它可以摄取、存储和分析应用程序、服务器和基础设施生成的大量日志数据。组织可以使用 Azure 数据资源管理器来监控应用程序性能、排除问题、检测异常并深入了解用户行为。近乎实时地分析日志数据的能力使组织能够主动解决问题并提高运营效率。

遥测分析

Azure 数据资源管理器非常适合遥测分析,它可以处理和分析物联网设备、传感器和应用程序生成的数据。组织可以使用 Azure 数据资源管理器来监控设备运行状况、优化资源利用率并检测遥测数据中的异常。该平台的可扩展性和高性能能力使其非常适合处理物联网设备生成的大量数据。

时间序列分析

Azure 数据资源管理器用于时间序列分析,它可以摄取和分析随时间收集的时间戳数据点。此用例适用于各个行业,包括金融、医疗保健、制造业和能源。组织可以使用 Azure 数据资源管理器来分析趋势、检测模式并根据历史时间序列数据预测未来事件。该平台的高级查询运算符和实时分析功能使组织能够从时间序列数据中获得有价值的见解。

Apache Druid 用例

地理空间分析

Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,例如跟踪资产的移动、分析用户位置或监控事件的分布。其高效处理大量地理空间数据的能力使组织能够获得见解并根据位置信息做出数据驱动的决策。

机器学习和人工智能

Druid 的高性能数据处理能力可用于机器学习和 AI 工作流程中的预处理和特征提取。其对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或见解的用例,例如推荐系统或预测性维护。

实时分析

Apache Druid 的低延迟查询和实时数据摄取能力使其成为实时分析用例的理想解决方案,例如监控应用程序性能、用户行为或业务指标。


Azure 数据资源管理器定价模型

Azure 数据资源管理器的定价模型基于按需付费方式,客户根据其服务使用量付费。定价取决于多种因素,例如摄取的数据量、存储的数据量以及执行的查询数量。此外,客户可以在提供不同性能和功能级别的不同定价层之间进行选择。Azure 数据资源管理器还提供预留容量选项,允许客户以折扣价预留固定期限的资源。

Apache Druid 定价模型

Apache Druid 是一个开源项目,因此,它可以自托管,无需许可费用。但是,选择自托管 Druid 的组织在部署和运营 Druid 在其环境中时,将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求以及选择的基础设施,无论是在本地还是基于云。

对于那些喜欢托管解决方案的人,可以使用云服务,这些服务提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商负责处理基础设施、管理和支持,从而简化了 Druid 的部署和运营。这些托管服务的定价将因提供商和选择的服务层而异,其中可能包括数据存储、查询容量和数据摄取速率等因素。