在构建任何软件应用程序时,选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,为您的特定用例和数据模型确定哪种数据库具有最大的优势和最小的缺点是一项重要的决策。下面您将找到 Apache Druid 和 MySQL 的关键概念、架构、功能、用例和定价模型的概述,以便您快速了解它们之间的比较。

本文的主要目的是比较 Apache Druid 和 MySQL 在涉及时序数据的工作负载中的性能,而不是所有可能的用例。时序数据通常在数据库性能方面提出了独特的挑战。这是由于正在写入的大量数据以及访问这些数据的查询模式。本文并非旨在说明哪个数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。

Apache Druid 与 MySQL 细分


 
数据库模型

列式数据库

关系数据库

架构

Druid 可以部署在本地、云端或使用托管服务

MySQL 使用客户端-服务器模型和多层服务器设计。它支持 SQL 查询语言,并为不同的用例提供各种存储引擎,例如 InnoDB 和 MyISAM。MySQL 可以部署在本地、云端或作为托管服务。

许可证

Apache 2.0

GNU 通用公共许可证 v2(适用于开源社区版)

用例

实时分析、OLAP、时序数据、事件驱动数据、日志分析、广告技术、用户行为分析

Web 应用程序、电子商务、数据仓库、内容管理系统、业务应用程序

可扩展性

水平可扩展,支持分布式架构以实现高可用性和性能

支持通过向单个节点添加更多资源进行垂直扩展;可以通过复制、分片和第三方工具实现水平扩展

正在寻找最有效率的入门方式?

无论您是寻求成本节约、降低管理开销还是开源,InfluxDB 都能帮到您。

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,后来于 2018 年捐赠给 Apache 软件基金会,因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构,结合了时序数据库、搜索系统和列式存储的元素,特别适合用于涉及事件驱动数据和交互式分析的用例。

MySQL 概述

MySQL 是一个开源关系数据库管理系统,于 1995 年首次发布。它是全球最受欢迎的数据库之一,因为它易于使用、可靠且性能出色。MySQL 广泛用于 Web 应用程序、在线事务处理和数据仓库。Oracle Corporation 于 2010 年收购了 MySQL,但它仍然是具有活跃贡献者社区的开源软件。


Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时序数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成,因此也可以使用 Druid 分析历史时序数据。

MySQL 用于时序数据

MySQL 可以用于存储和分析时序数据,但其效率不如专用时序数据库。MySQL 的灵活性和对各种索引技术的支持使其成为中小型时序数据集的合适选择。对于大规模时序数据工作负载,具有高写入吞吐量或需要低延迟查询的用例,除非经过高度定制,否则 MySQL 往往会很吃力。


Apache Druid 关键概念

  • 数据摄取:将数据从各种来源(例如流式或批量数据源)导入 Druid 的过程。
  • :Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
  • 数据汇总:在摄取期间聚合原始数据的过程,以减少存储需求并提高查询性能。
  • 节点:Druid 的架构由不同类型的节点组成,包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord,每种节点都有特定的职责。
  • 索引服务:Druid 的索引服务管理摄取数据、创建段以及将段发布到深度存储的过程。

MySQL 关键概念

  • :相关数据的集合,以行和列的形式组织,是 MySQL 中存储数据的主要结构。
  • 主键:表中每一行的唯一标识符,用于强制数据完整性并实现高效查询。
  • 外键:表中一列或一组列,引用另一个表中的主键,用于建立表之间的关系。


Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储,专为大型数据集的实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件概述。

  • Historical 节点是 Druid 数据服务功能的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一目标,它们从深度存储加载段,将它们保留在内存中,然后满足对这些段的查询。在考虑部署和管理时,这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的可扩展性显而易见,因为只需合并更多节点即可水平扩展它们。
  • Broker 节点充当传入查询的守门人。它们的主要功能是将这些查询引导到相应的 historical 节点或实时节点。有趣的是,它们是无状态的,这意味着可以对其进行横向扩展以适应查询并发性的增加。
  • Coordinator 节点具有管理角色,负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的 coordinator 节点,并有一个备用节点用于故障转移场景。
  • Overlord 节点指示摄取任务的分配,将它们定向到 middle manager 或 indexer 节点。它们的部署与 coordinator 节点类似,通常有一个活动的 overlord 和一个用于冗余的备份。
  • MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短期任务,但 indexer 节点专为长期任务而设计。考虑到它们的密集型操作,这些节点需要高 CPU 和内存资源。它们的可扩展性很灵活,允许根据数据摄取量进行水平扩展。
  • Deep Storage 是一个组件,充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成,例如 HDFS、S3 和 Google Cloud Storage。
  • Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容,用于此目的,包括 MySQL、PostgreSQL 和 Derby。

MySQL 架构

MySQL 是一个关系数据库管理系统,它使用 SQL 来定义和操作数据。它遵循客户端-服务器模型,其中 MySQL 服务器接受来自多个客户端的连接并处理它们的查询。MySQL 的架构包括一个存储引擎框架,允许用户从不同的存储引擎中进行选择,例如 InnoDB、MyISAM 或 Memory,以针对特定用例优化数据库。

免费时序数据库指南

获取对备选方案和选择数据库的关键要求的全面回顾。

Apache Druid 功能

数据摄取

Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源(如 Kafka、Hadoop 或本地文件)的数据。Druid 内置了对数据分区、复制和汇总的支持,确保了高可用性和高效存储。

可扩展性和性能

Druid 旨在水平扩展,为大规模部署提供支持,并最大限度地减少性能下降。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。

列式存储

Druid 以列式格式存储数据,与基于行的存储系统相比,可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。

时间优化索引

Druid 的索引服务创建具有基于时间的段分区,优化了时序数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总

Druid 的数据汇总功能在摄取期间聚合原始数据,减少了存储需求并提高了查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有益。

MySQL 功能

ACID 合规性

MySQL 支持事务并遵守 ACID(原子性、一致性、隔离性、持久性)属性,确保数据完整性和一致性。

可扩展性

MySQL 可以根据存储引擎和配置进行垂直和水平扩展。

复制和高可用性

MySQL 支持各种复制技术,包括主从复制和主主复制,以提供高可用性和容错能力。


Apache Druid 用例

地理空间分析

Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,例如跟踪资产的移动、分析用户位置或监控事件的分布。其有效处理大量地理空间数据的能力使户能够根据位置信息获得洞察并做出数据驱动的决策。

机器学习和人工智能

Druid 的高性能数据处理能力可用于机器学习和 AI 工作流程中的预处理和特征提取。其对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或洞察的用例,例如推荐系统或预测性维护。

实时分析

Apache Druid 的低延迟查询和实时数据摄取功能使其成为实时分析用例的理想解决方案,例如监控应用程序性能、用户行为或业务指标。

MySQL 用例

Web 应用程序

MySQL 因其灵活性、易用性和性能而成为为 Web 应用程序、内容管理系统和电子商务平台提供支持的热门选择。

在线事务处理 (OLTP)

MySQL 适用于需要高并发性、快速响应时间和事务支持的 OLTP 系统。

数据仓库

虽然 MySQL 并非专门为数据仓库而设计,但它可用于中小型数据仓库,利用其对索引、分区和其他优化技术的支持。


Apache Druid 定价模型

Apache Druid 是一个开源项目,因此,它可以自托管,无需许可费用。但是,选择自托管 Druid 的组织在本地或云环境中部署和运行 Druid 时,将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求以及选择的基础设施,无论是本地部署还是云部署。

对于那些喜欢托管解决方案的人,可以使用云服务来提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商负责处理基础设施、管理和支持,从而简化 Druid 的部署和运行。这些托管服务的定价将因提供商和选择的服务层级而异,其中可能包括数据存储、查询容量和数据摄取速率等因素。

MySQL 定价模型

MySQL 提供多个版本,具有不同的功能集和定价模型。MySQL 社区版是开源且免费使用的,而 MySQL 企业版包括其他功能,例如高级安全性、监控和管理工具,并且需要订阅。企业版的定价取决于服务器实例的数量和所需的支持级别。