在构建任何软件应用程序时,选择正确的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,针对您的特定用例和数据模型,决定哪个数据库的优势最大,劣势最小,是一个重要的决定。下面您将找到 Apache Druid 和 TimescaleDB 的关键概念、架构、功能、用例和定价模型的概述,以便您可以快速了解它们之间的比较情况。

本文的主要目的是比较 Apache Druid 和 TimescaleDB 在涉及时间序列数据的工作负载中的性能,而不是针对所有可能的用例。时间序列数据在数据库性能方面通常会带来独特的挑战。这是由于大量数据被写入以及访问这些数据的查询模式所致。本文并非旨在说明哪个数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。

Apache Druid 与 TimescaleDB 对比细分


 
数据库模型

列式数据库

时间序列数据库

架构

Druid 可以部署在本地、云端或使用托管服务

TimescaleDB 构建于 PostgreSQL 之上,并继承了其架构。它通过特定于时间序列的优化和功能扩展了 PostgreSQL,使其能够高效地管理时间序列数据。它可以作为单节点、多节点设置或云端托管服务进行部署。

许可证

Apache 2.0

Timescale 许可证(适用于 TimescaleDB 社区版);Apache 2.0(适用于核心 PostgreSQL)

用例

实时分析、OLAP、时间序列数据、事件驱动型数据、日志分析、广告技术、用户行为分析

监控、可观测性、物联网、实时分析、金融市场数据

可扩展性

水平可扩展,支持分布式架构,实现高可用性和高性能

通过对分区、复制和分片的原生支持实现水平可扩展。提供多节点功能,用于在节点之间分发数据和查询。

正在寻找最有效的入门方式吗?

无论您是在寻找成本节约、更低的管理开销还是开源方案,InfluxDB 都能提供帮助。

Apache Druid 概述

Apache Druid 是一款开源、实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,并于 2018 年捐赠给 Apache 软件基金会,因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构,结合了时间序列数据库、搜索系统和列式存储的元素,特别适用于涉及事件驱动型数据和交互式分析的用例。

TimescaleDB 概述

TimescaleDB 是一款构建于 PostgreSQL 之上的开源时间序列数据库。它的创建旨在解决管理时间序列数据的挑战,例如可扩展性、查询性能和数据保留策略。TimescaleDB 于 2017 年首次发布,此后因其 PostgreSQL 兼容性、性能优化和灵活的数据保留策略而成为存储和分析时间序列数据的热门选择。


Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成,因此也可以使用 Druid 分析历史时间序列数据。

TimescaleDB 用于时间序列数据

TimescaleDB 专为时间序列数据而设计,使其成为存储和查询此类数据的自然选择。它为时间序列数据管理提供了多项优势,例如水平可扩展性、列式存储和保留策略支持。但是,TimescaleDB 可能不是所有时间序列用例的最佳选择。一个例子是,如果应用程序需要非常高的写入吞吐量或实时分析,则 InfluxDB 等其他专门的时间序列数据库可能更合适。


Apache Druid 关键概念

  • 数据摄取:将数据从各种来源(例如流式或批量数据源)导入 Druid 的过程。
  • :Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
  • 数据汇总:在摄取期间聚合原始数据的过程,以减少存储需求并提高查询性能。
  • 节点:Druid 的架构由不同类型的节点组成,包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord,每个节点都有特定的职责。
  • 索引服务:Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

TimescaleDB 关键概念

  • 超表:超表是一个分布式表,按时间和可能的其他维度(例如设备 ID 或位置)进行分区。它是 TimescaleDB 中存储时间序列数据的主要抽象,旨在跨多个节点水平扩展。
  • :块是超表的分区,包含超表数据的子集。块由 TimescaleDB 根据指定的时间间隔自动创建,并且可以单独压缩、索引和备份,以获得更好的性能和数据管理。
  • 分布式超表:对于大规模部署,TimescaleDB 支持分布式超表,它跨多个节点对数据进行分区,以提高查询性能和容错能力。


Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储,专为对大型数据集进行实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件概述。

  • 历史节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点,它们从深度存储加载段,将它们保留在内存中,然后满足对这些段的查询。在考虑部署和管理时,这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见,因为只需加入更多节点即可水平扩展它们。
  • Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导至适当的历史节点或实时节点。有趣的是,它们是无状态的,这意味着可以扩展它们以适应查询并发性的增加。
  • Coordinator 节点具有管理角色,负责监督历史节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的协调器节点,以及一个备用节点用于故障转移场景。
  • Overlord 节点决定摄取任务的分配,将它们定向到中间管理器或索引器节点。它们的部署与协调器节点类似,通常有一个活动的 overlord 和一个备用用于冗余。
  • MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManagers 启动用于数据摄取的短期任务,但索引器专为长期任务而设计。鉴于其密集的操作,这些节点需要高 CPU 和内存资源。它们的扩展性很灵活,允许根据数据摄取量进行水平扩展。
  • 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成,如 HDFS、S3 和 Google Cloud Storage。
  • 元数据存储库是关于段、任务和配置的关键元数据存储库。Druid 与流行的数据库兼容,用于此目的,包括 MySQL、PostgreSQL 和 Derby。

TimescaleDB 架构

TimescaleDB 是构建在 PostgreSQL 之上的扩展,继承了其关系数据模型和 SQL 支持。但是,TimescaleDB 使用自定义数据结构和针对时间序列数据的优化(例如超表和块)扩展了 PostgreSQL。

免费时间序列数据库指南

获取对备选方案和选择数据库的关键要求的全面审查。

Apache Druid 功能

数据摄取

Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源(如 Kafka、Hadoop 或本地文件)的数据。凭借对数据分区、复制和汇总的内置支持,Druid 确保了高可用性和高效存储。

可扩展性和性能

Druid 旨在水平扩展,为大规模部署提供支持,同时最大限度地减少性能下降。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。

列式存储

Druid 以列式格式存储数据,与基于行的存储系统相比,可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。

时间优化索引

Druid 的索引服务创建具有基于时间的分区的段,优化了时间序列数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。

数据汇总

Druid 的数据汇总功能在摄取期间聚合原始数据,减少了存储需求并提高了查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有益。

分区

TimescaleDB 使用超表和块自动分区时间序列数据表,这简化了数据管理并提高了查询性能。

专注于时间序列的 SQL 函数

TimescaleDB 为时间序列数据应用场景提供了几个专门的 SQL 函数和运算符,例如 time_bucket、first 和 last,这些函数和运算符简化了时间序列数据的查询和聚合。

查询优化

如前所述,TimescaleDB 扩展了 PostgreSQL 的查询计划器,用于写入和查询时间序列数据,包括基于时间的索引和块修剪等优化。


Apache Druid 用例

地理空间分析

Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,例如跟踪资产移动、分析用户位置或监控事件分布。它高效处理大量地理空间数据的能力使用户能够获得洞察力并根据位置信息做出数据驱动的决策。

机器学习和人工智能

Druid 的高性能数据处理能力可用于机器学习和 AI 工作流程中的预处理和特征提取。它对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或洞察力的用例,例如推荐系统或预测性维护。

实时分析

Apache Druid 的低延迟查询和实时数据摄取能力使其成为实时分析用例的理想解决方案,例如监控应用程序性能、用户行为或业务指标。

TimescaleDB 用例

监控和指标

TimescaleDB 非常适合存储和分析监控和指标数据,例如服务器性能指标、应用程序日志和传感器数据。其超表结构和查询优化使其易于存储、查询和可视化大量时间序列数据。

物联网数据存储

TimescaleDB 可用于存储和分析物联网数据,例如传感器读数和设备状态信息。它对自动分区和专用 SQL 接口的支持简化了大规模物联网数据集的管理和查询。

金融数据

TimescaleDB 适用于存储和分析金融数据,例如股票价格、汇率和交易量。其查询优化和专用 SQL 函数使其易于执行基于时间的聚合和分析金融数据中的趋势。


Apache Druid 定价模型

Apache Druid 是一个开源项目,因此,它可以免费自行托管,无需许可费用。但是,选择自行托管 Druid 的组织在部署和运营其环境中的 Druid 时,将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求和选择的基础设施,无论是在本地还是在云端。

对于那些喜欢托管解决方案的人,可以使用云服务,这些云服务提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商负责处理基础设施、管理和支持,从而简化了 Druid 的部署和运营。这些托管服务的定价将因提供商和选定的服务层而异,其中可能包括数据存储、查询容量和数据摄取率等因素。

TimescaleDB 定价模型

TimescaleDB 有两个版本:TimescaleDB 开源版和 TimescaleDB Cloud。开源版可以免费使用并自行托管,而云版是一种托管服务,采用按需付费定价模式,具体取决于存储、计算和数据传输使用量。TimescaleDB Cloud 提供各种定价层级,具有不同的资源和功能级别,例如持续备份和高可用性。