Apache Druid 与 DuckDB

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的强大能力而广受欢迎。凭借结合了时间序列数据库、搜索系统和列式存储元素的独特架构，Druid 特别适用于涉及事件驱动数据和交互式分析的用例。

DuckDB 概述

DuckDB 是一个进程内 SQL OLAP（在线分析处理）数据库管理系统。它旨在做到简单、快速且功能丰富。DuckDB 可用于处理和分析表格数据集，例如 CSV 或 Parquet 文件。它提供丰富的 SQL 方言，支持事务、持久性、广泛的 SQL 查询以及对 Parquet 和 CSV 文件的直接查询。DuckDB 构建于矢量化引擎之上，该引擎针对分析进行了优化，并支持并行查询处理。它旨在易于安装和使用，没有外部依赖项，并支持多种编程语言。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，以便也可以使用 Druid 分析历史时间序列数据。

DuckDB 用于时间序列数据

DuckDB 可以有效地用于时间序列数据。它支持处理和分析表格数据集，其中可以包括存储在 CSV 或 Parquet 文件中的时间序列数据。凭借其优化的分析引擎和对复杂 SQL 查询的支持，DuckDB 可以高效地执行聚合、连接和其他时间序列分析操作。但是，重要的是要注意，DuckDB 并非专门为时间序列数据管理而设计，并且可能没有针对时间序列分析的专门功能，如某些专用时间序列数据库。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括历史节点、Broker 节点、协调器节点和 MiddleManager/Overlord 节点，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段并将它们发布到深度存储的过程。

DuckDB 关键概念

• 进程内：DuckDB 在进程内运行，这意味着它在与使用它的应用程序相同的进程中运行，而无需单独的服务器。
• OLAP：DuckDB 是一个 OLAP 数据库，这意味着它针对分析查询处理进行了优化。
• 矢量化引擎：DuckDB 使用矢量化引擎，该引擎对批量数据进行操作，从而提高查询性能。
• 事务：DuckDB 支持事务操作，确保数据操作的原子性、一致性、隔离性和持久性 (ACID) 属性。
• SQL 方言：DuckDB 提供丰富的 SQL 方言，具有高级功能，例如任意和嵌套相关子查询、窗口函数、排序规则以及对数组和结构等复杂类型的支持

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为大型数据集上的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是驱动 Apache Druid 的核心组件的概述。

• 历史节点是 Druid 数据服务能力的基础。它们的主要职责是将存储的数据服务于查询。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常部署在配备了大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为只需添加更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• 协调器节点具有管理角色，负责监督历史节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，并有一个备用节点处于待机状态以应对故障转移情况。
• Overlord 节点指示摄取任务的分配，将它们定向到中间管理器节点或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动的 overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短时任务，但索引器专为长时任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 Blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

DuckDB 架构

DuckDB 遵循进程内架构，在与应用程序相同的进程中运行。它是一个关系型、面向表格的数据库管理系统，支持用于生成分析结果的 SQL 查询。DuckDB 使用 C++11 构建，旨在没有外部依赖项。它可以编译为单个文件，使其易于安装和集成到应用程序中。