Apache Druid 与 PostgreSQL

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动型数据和交互式分析的用例。

PostgreSQL 概述

PostgreSQL，也称为 Postgres，是一个开源的关系型数据库管理系统，于 1996 年首次发布。它有着悠久的作为健壮、可靠和功能丰富的数据库系统的历史，广泛应用于各个行业和应用程序。PostgreSQL 以其对 SQL 标准的遵守和可扩展性而闻名，这允许用户定义自己的数据类型、运算符和函数。它由一个由贡献者组成的专门社区开发和维护，并在包括 Windows、Linux 和 macOS 在内的多个平台上可用。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供用于在更便宜的对象存储中存储历史数据的集成，因此也可以使用 Druid 分析历史时序数据。

PostgreSQL 用于时序数据

PostgreSQL 可以用于时序数据存储和分析，尽管它并非专门为此用例而设计。凭借其丰富的数据类型、索引选项和窗口函数支持，PostgreSQL 可以处理时序数据。然而，在数据压缩、写入吞吐量和查询速度等方面，Postgres 不如专门的时序数据库那样针对时序数据进行优化。PostgreSQL 还缺少许多对于处理时序数据有用的功能，如降采样、保留策略和用于时序数据分析的自定义 SQL 函数。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

PostgreSQL 关键概念

• MVCC：多版本并发控制是 PostgreSQL 使用的一种技术，允许多个事务并发执行，而不会发生冲突或锁定。
• WAL：预写式日志记录是一种用于确保数据持久性的方法，通过在将更改写入主数据文件之前将其记录到日志中。
• TOAST：超大属性存储技术是一种将大型数据值存储在单独的表中以减少主表磁盘空间消耗的机制。

Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件概述。

• 历史节点是 Druid 数据服务能力的基础。它们的主要职责是将存储的数据服务于查询。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到适当的历史节点或实时节点。有趣的是，它们是无状态的，这意味着它们可以横向扩展以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督历史节点之间的数据分布。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，并在备用节点上进行故障转移场景。
• Overlord 节点决定了摄取任务的分配，将它们定向到中间管理器节点或索引器节点。它们的部署与协调器节点的部署相似，通常有一个活动的 overlord 和一个用于冗余的备份。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManagers 启动用于数据摄取的短期任务，但索引器专为长期任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• 深度存储是一个组件，充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储库是关于段、任务和配置的关键元数据的存储库。Druid 为此目的与流行的数据库兼容，包括 MySQL、PostgreSQL 和 Derby。

PostgreSQL 架构

PostgreSQL 是一个客户端-服务器关系型数据库系统，它使用 SQL 语言进行查询和操作。它采用基于进程的架构，与数据库的每个连接都由一个单独的服务器进程处理。此架构在不同用户和会话之间提供隔离。PostgreSQL 支持 ACID 事务，并使用 MVCC、WAL 和其他技术的组合来确保数据一致性、持久性和性能。它还支持各种扩展和外部模块以增强其功能。