Apache Druid 与 Apache Pinot

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的强大能力而广受欢迎。凭借结合了时间序列数据库、搜索系统和列式存储元素的独特架构，Druid 特别适合涉及事件驱动数据和交互式分析的用例。

Apache Pinot 概述

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟回答复杂的分析查询。它最初在 LinkedIn 开发，并于 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，为大型数据集上的复杂查询提供近乎瞬时的响应。它被多家大型组织使用，例如 LinkedIn、Microsoft 和 Uber。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供将历史数据存储在更便宜的对象存储中的集成，因此也可以使用 Druid 分析历史时间序列数据。

Apache Pinot 用于时间序列数据

Apache Pinot 由于其列式存储和实时摄取能力，是处理时间序列数据的可靠选择。Pinot 从 Apache Kafka 等流式数据源摄取数据的能力确保了时间序列数据可以在生成时进行分析，此外还可以选择批量摄取数据。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将段发布到深度存储的过程。

Apache Pinot 关键概念

• 段：段是 Pinot 中基本的数据存储单元。它是一种列式存储格式，包含表数据的子集。
• 表：Pinot 中的表是段的集合。
• 控制器：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• Broker：Broker 负责接收查询，将查询路由到适当的服务器，并将结果返回给客户端。
• 服务器：服务器存储段并处理这些段上的查询。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为大型数据集上的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需添加更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到适当的 historical 节点或 real-time 节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，以及一个备用节点用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到 middle manager 或 indexer 节点。它们的部署与 coordinator 节点类似，通常有一个活动的 overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短寿命任务，但 indexer 专为长期任务而设计。鉴于它们密集的操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，它使用混合数据模型，结合了 NoSQL 和 SQL 数据库的功能。其架构由三个主要组件组成：Controller、Broker 和 Server。Controller 管理元数据和集群操作，而 Brokers 处理查询路由，Servers 存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。