Apache Druid 与 Rockset

Apache Druid 概览

Apache Druid 是一款开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动数据和交互式分析的用例。

Rockset 概览

Rockset 是一款实时索引数据库，专为快速高效地查询结构化和半结构化数据而设计。Rockset 由 Facebook 前工程师于 2016 年创立，旨在提供一种无服务器搜索和分析解决方案，使用户能够构建强大的应用和数据驱动的产品，而无需传统数据库管理的复杂性。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供集成，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时序数据。

Rockset 用于时序数据

Rockset 的实时索引和低延迟查询功能使其成为时序数据分析的绝佳选择。其无模式摄取和对复杂数据类型的支持使得处理时序数据毫不费力，而其融合索引则确保可以高效查询历史数据和实时数据。Rockset 特别适合需要实时分析的应用，例如物联网监控和异常检测。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每种节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段并将它们发布到深度存储的过程。

Rockset 关键概念

• 融合索引：Rockset 使用一种独特的索引方法，将倒排索引和列式索引相结合，使数据库能够针对搜索和分析用例进行优化。
• 无模式摄取：Rockset 在摄取时自动推断模式，从而可以轻松处理 JSON 等半结构化数据格式。
• 虚拟实例：Rockset 使用虚拟实例的概念为不同的工作负载提供隔离和资源分配，从而确保可预测的性能。

Apache Druid 架构

Apache Druid 是一款功能强大的分布式数据存储，专为大型数据集的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常部署在配备了大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为它们可以通过简单地增加更多节点来进行水平扩展。
• Broker 节点充当传入查询的守门人。它们的主要功能是将这些查询引导到相应的 historical 节点或 real-time 节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，以及一个备用节点用于故障转移场景。
• Overlord 节点决定摄取任务的分配，将它们定向到 middle manager 节点或 indexer 节点。它们的部署与 coordinator 节点类似，通常有一个活动的 overlord 和一个备份用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短期任务，但 indexer 专为长期任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容用于此目的，包括 MySQL、PostgreSQL 和 Derby。

Rockset 架构

Rockset 使用云原生、无服务器架构，该架构构建在分布式、共享无系统之上。它是一个 NoSQL 数据库，与传统的 relational 数据库相比，它具有更大的灵活性和可扩展性。Rockset 架构的核心组件包括摄取服务、存储服务和查询服务。摄取服务负责从各种来源摄取数据，而存储服务维护融合索引。查询服务处理查询并为开发人员提供与数据库交互的 API。