在构建任何软件应用程序时,选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,为您的特定用例和数据模型决定哪个数据库的优势最多、缺点最少是一项重要的决策。下面您将找到 Apache Doris 和 Apache Druid 的关键概念、架构、功能、用例和定价模型的概述,以便您可以快速了解它们之间的比较。
本文的主要目的是比较 Apache Doris 和 Apache Druid 在涉及 时序数据 的工作负载方面的性能,而不是所有可能的用例。时序数据通常在数据库性能方面提出了独特的挑战。这是因为写入的数据量很大以及访问这些数据的查询模式。本文并非旨在说明哪个数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。
Apache Doris 与 Apache Druid 分解
![]() |
![]() |
|
数据库模型 | 数据仓库 |
列式数据库 |
架构 | Doris 可以部署在本地或云端,并与各种数据格式兼容,如 Parquet、ORC 和 JSON。 |
Druid 可以部署在本地、云端或使用托管服务 |
许可证 | Apache 2.0 |
Apache 2.0 |
用例 | 交互式分析、数据仓库、实时数据分析、报告、仪表板 |
实时分析、OLAP、时序数据、事件驱动数据、日志分析、广告技术、用户行为分析 |
可扩展性 | 水平可扩展,具有分布式存储和计算 |
水平可扩展,支持分布式架构,实现高可用性和高性能 |
正在寻找最有效率的入门方式?
无论您是寻求节省成本、降低管理开销还是开源,InfluxDB 都能提供帮助。
Apache Doris 概览
Apache Doris 是一个基于 MPP 的交互式 SQL 数据仓库系统,专为报告和分析而设计。它以其高性能、实时分析能力和易用性而闻名。Apache Doris 集成了 Google Mesa 和 Apache Impala 的技术。与其他基于 Hadoop 的 SQL 系统不同,Doris 被设计为一个简单且紧密集成的系统,不依赖于外部依赖项。它旨在为数据仓库和分析提供精简高效的解决方案。
Apache Druid 概览
Apache Druid 是一个开源的实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,后来于 2018 年捐赠给 Apache 软件基金会,因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构,结合了时序数据库、搜索系统和列式存储的元素,特别适合用于涉及事件驱动数据和交互式分析的用例。
Apache Doris 用于时序数据
Apache Doris 可以有效地用于时序数据,进行实时分析和报告。凭借其高性能和亚秒级响应时间,Doris 可以处理海量的带时间戳数据,并提供及时的查询结果。它支持高并发点查询场景和高吞吐量复杂分析场景,使其适用于分析不同复杂程度的时序数据。
Apache Druid 用于时序数据
Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时序数据。Druid 还提供集成,用于将历史数据存储在更便宜的对象存储中,因此也可以使用 Druid 分析历史时序数据。
Apache Doris 关键概念
- MPP(大规模并行处理):Apache Doris 利用 MPP 架构,使其能够跨多个节点分发数据处理,从而实现并行执行和可扩展性。
- SQL:Apache Doris 支持 SQL 作为查询语言,为数据分析和报告提供熟悉且强大的界面。
- 点查询:点查询是指从数据库中检索特定的数据点或少量数据子集。
- 复杂分析:Apache Doris 可以处理涉及处理大量数据以及执行高级计算和聚合的复杂分析场景。
Apache Druid 关键概念
- 数据摄取:将数据从各种来源(如流式或批量数据源)导入 Druid 的过程。
- 段:Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
- 数据汇总:在摄取期间聚合原始数据的过程,以减少存储需求并提高查询性能。
- 节点:Druid 的架构由不同类型的节点组成,包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord,每个节点都有特定的职责。
- 索引服务:Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。
Apache Doris 架构
Apache Doris 基于 MPP 架构,使其能够跨多个节点分发数据和处理,以实现并行执行。它是一个独立的系统,不依赖于其他系统或框架。Apache Doris 结合了 Google Mesa 和 Apache Impala 的技术,为数据仓库和分析提供了一个简单且紧密集成的系统。它利用 SQL 作为查询语言,并支持高效的数据处理和查询优化技术,以确保高性能和可扩展性。
Apache Druid 架构
Apache Druid 是一个强大的分布式数据存储,专为大型数据集上的实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是驱动 Apache Druid 的核心组件的概述。
- Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点,它们从深度存储加载段,将它们保留在内存中,然后满足对这些段的查询。在考虑部署和管理时,这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的可扩展性显而易见,因为它们可以通过简单地合并更多节点来水平扩展。
- Broker 节点充当传入查询的守门人。它们的主要功能是将这些查询引导到相应的 historical 节点或实时节点。有趣的是,它们是无状态的,这意味着可以对其进行横向扩展以适应查询并发性的增加。
- Coordinator 节点具有管理角色,负责监督数据在 historical 节点之间的分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的 coordinator 节点,备用节点处于待机状态以应对故障转移场景。
- Overlord 节点决定摄取任务的分配,将它们定向到 middle manager 或 indexer 节点。它们的部署与 coordinator 节点类似,通常有一个活动的 overlord 和一个备份用于冗余。
- MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短期任务,但 indexer 专为长期任务而设计。鉴于其密集型操作,这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的,允许根据数据摄取量进行水平扩展。
- Deep Storage 是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成,如 HDFS、S3 和 Google Cloud Storage。
- Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容,用于此目的,包括 MySQL、PostgreSQL 和 Derby。
免费时序数据库指南
获取对备选方案和选择您的方案的关键要求的全面审查。
Apache Doris 功能
高性能
Apache Doris 专为高性能数据分析而设计,即使在处理海量数据时也能提供亚秒级的查询响应时间。
实时分析
Apache Doris 支持实时数据分析,允许用户根据最新的信息获得洞察并做出明智的决策。
可扩展性
Apache Doris 可以通过向集群添加更多节点来水平扩展,从而增加数据存储和处理能力。
Apache Druid 功能
数据摄取
Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源的数据,如 Kafka、Hadoop 或本地文件。Druid 内置对数据分区、复制和汇总的支持,确保了高可用性和高效存储。
可扩展性和性能
Druid 旨在水平扩展,为大规模部署提供支持,并将性能降级降至最低。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。
列式存储
Druid 以列式格式存储数据,与基于行的存储系统相比,可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。
时间优化索引
Druid 的索引服务创建具有基于时间的段分区的段,从而优化了时序数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总
Druid 的数据汇总功能在摄取期间聚合原始数据,从而减少了存储需求并提高了查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有益。
Apache Doris 用例
实时分析
Apache Doris 非常适合实时分析场景,在这些场景中,及时洞察和分析大量数据至关重要。它使企业能够监控和分析实时数据流,做出数据驱动的决策,并实时检测模式或异常。
报告和商业智能
Apache Doris 可用于生成报告和进行商业智能活动。它支持快速高效的数据查询,允许用户提取有意义的见解并将数据可视化,以用于报告和分析目的。
数据仓库
Apache Doris 适用于构建需要高性能分析和查询能力的数据仓库解决方案。它为存储、管理和分析大量数据以进行报告和决策制定提供了一个可扩展且高效的平台。
Apache Druid 用例
地理空间分析
Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,如跟踪资产的移动、分析用户位置或监控事件的分布。它有效处理大量地理空间数据的能力使使用者能够获得洞察并根据位置信息做出数据驱动的决策。
机器学习和人工智能
Druid 的高性能数据处理能力可用于机器学习和人工智能工作流程中的预处理和特征提取。它对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或洞察的用例,如推荐系统或预测性维护。
实时分析
Apache Druid 的低延迟查询和实时数据摄取能力使其成为实时分析用例的理想解决方案,如监控应用程序性能、用户行为或业务指标。
Apache Doris 定价模型
作为一个开源项目,Apache Doris 可以免费使用,无需任何许可费。用户可以下载源代码并在自己的基础设施上设置 Apache Doris,而无需承担任何直接成本。但是,重要的是要考虑与托管和维护数据库基础设施相关的运营成本。
Apache Druid 定价模型
Apache Druid 是一个开源项目,因此,它可以自托管,无需许可成本。但是,选择自托管 Druid 的组织在部署和运营 Druid 环境时,将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求以及选择的基础设施,无论是在本地还是基于云。
对于那些喜欢托管解决方案的人,可以使用云服务来提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商负责处理基础设施、管理和支持,从而简化了 Druid 的部署和运营。这些托管服务的定价将因提供商和选择的服务层而异,其中可能包括数据存储、查询容量和数据摄取速率等因素。
免费开始使用 InfluxDB
InfluxDB Cloud 是开始存储和分析您的时序数据的最快方式。