在构建任何软件应用程序时,选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,针对您的特定用例和数据模型,决定哪个数据库的优点最多、缺点最少,是一项重要的决策。下面您将找到 Apache Druid 和 AWS Redshift 的关键概念、架构、功能、用例和定价模型的概述,以便您可以快速了解它们之间的比较。
本文的主要目的是比较 Apache Druid 和 AWS Redshift 在涉及时序数据的工作负载中的性能,而不是所有可能的用例。时序数据通常在数据库性能方面提出独特的挑战。这是因为写入的数据量很大以及访问这些数据的查询模式。本文并非旨在说明哪个数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。
Apache Druid 与 AWS Redshift 细分
![]() |
![]() |
|
数据库模型 | 列式数据库 |
数据仓库 |
架构 | Druid 可以部署在本地、云端或使用托管服务 |
AWS Redshift 利用列式存储格式进行快速查询,并支持标准 SQL。Redshift 使用分布式、无共享架构,其中数据在多个计算节点之间进行分区。每个节点进一步划分为切片,每个切片并行处理数据子集。Redshift 可以部署在单节点或多节点集群中,后者为大型数据集提供更好的性能。 |
许可证 | Apache 2.0 |
闭源 |
用例 | 实时分析、OLAP、时序数据、事件驱动型数据、日志分析、广告技术、用户行为分析 |
业务分析、大规模数据处理、实时仪表板、数据集成、机器学习 |
可扩展性 | 水平可扩展,支持分布式架构,实现高可用性和高性能 |
支持独立扩展存储和计算,并支持根据需要添加或删除节点 |
正在寻找最有效率的入门方式?
无论您是在寻求节省成本、降低管理开销还是开源,InfluxDB 都能提供帮助。
Apache Druid 概述
Apache Druid 是一个开源的实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,并于 2018 年捐赠给 Apache 软件基金会,因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构,结合了时序数据库、搜索系统和列式存储的元素,特别适合用于涉及事件驱动型数据和交互式分析的用例。
AWS Redshift 概述
Amazon Redshift 是一种完全托管的、PB 级云数据仓库服务。它于 2012 年作为 AWS 产品套件的一部分推出。Redshift 专为分析工作负载而设计,并与各种数据加载和 ETL 工具以及商业智能和报告工具集成。它使用列式存储来优化存储成本并提高查询性能。
Apache Druid 用于时序数据
Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时序数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成,以便也可以使用 Druid 分析历史时序数据。
AWS Redshift 用于时序数据
AWS Redshift 可以用于时序数据工作负载,尽管 Redshift 针对更通用的数据仓库用例进行了优化。用户可以利用日期和时间函数来聚合、过滤和转换时序数据。Redshift 还提供“时序表”,允许数据根据固定的保留期限存储在表中。
Apache Druid 关键概念
- 数据摄取:将数据从各种来源(例如流式或批量数据源)导入 Druid 的过程。
- 段:Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
- 数据汇总:在摄取期间聚合原始数据的过程,以减少存储需求并提高查询性能。
- 节点:Druid 的架构由不同类型的节点组成,包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord,每个节点都有特定的职责。
- 索引服务:Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。
AWS Redshift 关键概念
- 集群:Redshift 集群是一组节点,由一个领导节点和一个或多个计算节点组成。领导节点管理与客户端应用程序的通信,并协调计算节点之间的查询执行。
- 计算节点:这些节点存储数据并并行执行查询。集群中计算节点的数量会影响其存储容量和查询性能。
- 列式存储:Redshift 使用列式存储格式,该格式将数据存储在列而不是行中。这种格式提高了查询性能并减少了存储空间需求。
- 节点切片:计算节点被划分为切片。每个切片被分配节点内存和磁盘空间的相等部分,在其中处理加载数据的一部分。
Apache Druid 架构
Apache Druid 是一个强大的分布式数据存储,专为对大型数据集进行实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。
- Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点,它们从深度存储加载段,将它们保留在内存中,然后满足对这些段的查询。在考虑部署和管理时,这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的可扩展性是显而易见的,因为只需合并更多节点即可水平扩展它们。
- Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的 historical 节点或实时节点。有趣的是,它们是无状态的,这意味着可以对其进行横向扩展以适应查询并发性的增加。
- Coordinator 节点具有管理角色,负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的 coordinator 节点,并在备用节点上进行故障转移。
- Overlord 节点指示摄取任务的分配,将它们定向到 middle manager 节点或 indexer 节点。它们的部署与 coordinator 节点类似,通常有一个活动的 overlord 和一个备份用于冗余。
- MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManager 节点启动用于数据摄取的短期任务,但 indexer 节点专为长期任务而设计。鉴于其密集的运算,这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的,允许根据数据摄取量进行水平扩展。
- Deep Storage 是 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成,如 HDFS、S3 和 Google Cloud Storage。
- Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容,用于此目的,包括 MySQL、PostgreSQL 和 Derby。
AWS Redshift 架构
Redshift 的架构基于分布式和无共享架构。集群由一个领导节点和一个或多个计算节点组成。领导节点负责协调查询执行,而计算节点存储数据并并行执行查询。数据以列式格式存储,这提高了查询性能并减少了存储空间需求。Redshift 使用大规模并行处理 (MPP) 在多个节点之间分配和执行查询,使其能够水平扩展并为大规模数据仓库工作负载提供高性能。
免费时序数据库指南
获取对备选方案和选择关键要求的全面审查。
Apache Druid 功能
数据摄取
Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源(如 Kafka、Hadoop 或本地文件)的数据。Druid 内置了对数据分区、复制和汇总的支持,确保了高可用性和高效存储。
可扩展性和性能
Druid 旨在水平扩展,为大规模部署提供支持,且性能降级最小。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。
列式存储
Druid 以列式格式存储数据,与基于行的存储系统相比,可实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。
时间优化索引
Druid 的索引服务创建具有基于时间的段分区,优化了时序数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总
Druid 的数据汇总功能在摄取期间聚合原始数据,从而减少存储需求并提高查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有益。
AWS Redshift 功能
可扩展性
Redshift 允许您通过添加或删除计算节点来向上或向下扩展集群,使您能够根据需要调整存储容量和查询性能。
性能
Redshift 的列式存储格式和 MPP 架构使其能够为大规模数据仓库工作负载提供高性能的查询执行。
安全性
Redshift 提供了一系列安全功能,包括静态和传输中加密、使用 Amazon Virtual Private Cloud (VPC) 的网络隔离,以及与 AWS Identity and Access Management (IAM) 的集成以进行访问控制。
Apache Druid 用例
地理空间分析
Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,例如跟踪资产的移动、分析用户位置或监控事件的分布。它高效处理大量地理空间数据的能力使户能够根据位置信息获得洞察力并做出数据驱动的决策。
机器学习和人工智能
Druid 的高性能数据处理能力可用于机器学习和 AI 工作流程中的预处理和特征提取。它对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或洞察力的用例,例如推荐系统或预测性维护。
实时分析
Apache Druid 的低延迟查询和实时数据摄取能力使其成为实时分析用例的理想解决方案,例如监控应用程序性能、用户行为或业务指标。
AWS Redshift 用例
数据仓库
Redshift 专为大规模数据仓库工作负载而设计,为存储和分析结构化数据提供可扩展且高性能的解决方案。
商业智能和报告
Redshift 与各种 BI 和报告工具集成,使组织能够从其数据中获得洞察力并做出数据驱动的决策。
ETL 和数据集成
Redshift 支持数据加载和提取、转换和加载 (ETL) 流程,允许您集成来自各种来源的数据并为其分析做好准备。
Apache Druid 定价模型
Apache Druid 是一个开源项目,因此,它可以自托管,无需许可费用。但是,选择自托管 Druid 的组织在在其环境中部署和运营 Druid 时,将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求和选择的基础设施,无论是在本地还是在云端。
对于那些喜欢托管解决方案的人,可以使用云服务提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商处理基础设施、管理和支持,从而简化 Druid 的部署和运营。这些托管服务的定价将因提供商和选定的服务层而异,其中可能包括数据存储、查询容量和数据摄取速率等因素。
AWS Redshift 定价模型
Amazon Redshift 提供两种定价模型:按需实例和预留实例。通过按需定价,您可以按小时为使用的容量付费,无需长期承诺。预留实例提供选择预留一年或三年期限容量的选项,与按需定价相比,每小时费率更低。除了这些定价模型之外,您还可以选择不同的节点类型,这些节点类型提供不同数量的存储、内存和计算资源。
免费开始使用 InfluxDB
InfluxDB Cloud 是开始存储和分析时序数据的最快方法。