DataBend 与 Apache Druid

DataBend 概述

DataBend 是一个开源、云原生数据处理和分析平台，旨在为大数据工作负载提供高性能、经济高效且可扩展的解决方案。该项目由开发者、研究人员和行业专业人士组成的社区驱动，旨在创建一个统一的数据处理平台，将批处理和流处理能力与高级分析功能相结合。DataBend 的灵活架构允许用户构建各种各样的应用程序，从实时分析到大规模数据仓库。

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的性能而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动数据和交互式分析的用例。

DataBend 用于时序数据

DataBend 的架构和处理能力使其成为处理时序数据的合适选择。它对批处理和流数据处理的支持允许用户大规模摄取、存储和分析时序数据。此外，DataBend 与 Apache Arrow 的集成及其强大的查询执行框架实现了对时序数据的高效查询和分析，使其成为需要实时洞察和分析的应用程序的多功能选择。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合用于需要快速分析写入后的时序数据。Druid 还提供集成，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时序数据。

DataBend 关键概念

• DataFusion：DataFusion 是 DataBend 的核心组件，提供了一个可扩展的查询执行框架，支持基于 SQL 和 DataFrame 的查询 API。
• Ballista：Ballista 是 DataBend 内置于 DataFusion 之上的分布式计算平台，可实现大规模数据处理任务的高效且可扩展的执行。
• Arrow：DataBend 利用 Apache Arrow（一种内存中的列式数据格式）来实现组件之间高效的数据交换并优化查询性能。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批处理数据源）导入到 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将段发布到深度存储的过程。

DataBend 架构

DataBend 构建于云原生分布式架构之上，该架构支持 NoSQL 和类 SQL 查询功能。其模块化设计允许用户根据其特定用例和需求选择和组合组件。DataBend 架构的核心组件包括 DataFusion、Ballista 和存储层。DataFusion 负责查询执行和优化，而 Ballista 则为大规模数据处理任务实现了分布式计算。DataBend 中的存储层可以配置为与各种存储后端（例如对象存储或分布式文件系统）一起工作。

Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务功能的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备了大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询定向到相应的 historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分发。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，以及一个备用节点用于故障转移场景。
• Overlord 节点决定了摄取任务的分配，将它们定向到 middle manager 节点或 indexer 节点。它们的部署反映了 coordinator 节点的部署，通常有一个活动的 overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短时任务，但 indexers 专为长时任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• Deep Storage 是作为 Druid 的持久存储单元的组件。Druid 与各种 blob 存储解决方案（如 HDFS、S3 和 Google Cloud Storage）集成。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与用于此目的的流行数据库兼容，包括 MySQL、PostgreSQL 和 Derby。