Apache Druid 与 Redis 对比

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的强大能力而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动数据和交互式分析的用例。

Redis 概述

Redis，代表远程字典服务器 (Remote Dictionary Server)，是一个开源的内存数据结构存储，可用作数据库、缓存和消息代理。它由 Salvatore Sanfilippo 于 2009 年创建，此后因其高性能和灵活性而广受欢迎。Redis 支持各种数据结构，例如字符串、哈希、列表、集合、带有范围查询的排序集合、位图、HyperLogLog 以及带有半径查询的地理空间索引。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供集成，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时间序列数据。

Redis 用于时间序列数据

Redis 有一个专门用于处理时间序列数据的模块，名为 RedisTimeSeries。RedisTimeSeries 提供诸如降采样、数据保留策略以及 Redis 中时间序列数据的专用查询等功能。作为内存数据库，Redis 在读取和写入时间序列数据方面非常快，但由于 RAM 的成本高于磁盘，根据数据集的大小，使用 Redis 可能会变得昂贵。如果您的用例不需要极快的响应时间，则可以选择更传统的时间序列数据库来省钱。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

Redis 关键概念

• 内存存储：Redis 将数据存储在内存中，与基于磁盘的数据库相比，这允许更快的数据访问和操作。
• 数据结构：Redis 支持广泛的数据结构，包括字符串、哈希、列表、集合等等，这为如何建模和存储数据提供了灵活性。
• 持久性：Redis 提供可选的数据持久性，允许将数据定期保存到磁盘或写入日志以实现持久性。
• 发布/订阅：Redis 提供发布/订阅消息传递系统，无需集中式消息代理即可实现客户端之间的实时通信。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• 历史节点是 Druid 数据服务能力的基础。它们的主要职责是将存储的数据服务于查询。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常部署在配备了大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需添加更多节点即可水平扩展它们。
• 代理节点充当传入查询的守门人。它们的主要功能是将这些查询路由到相应的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• 协调器节点具有管理角色，负责监督跨历史节点的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，以及一个备用节点用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到中间管理器或索引器节点。它们的部署与协调器节点类似，通常有一个活动的 overlord 和一个备用 overlord 用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短生命周期任务，但索引器专为长生命周期任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容以用于此目的，包括 MySQL、PostgreSQL 和 Derby。

Redis 架构

Redis 是一个 NoSQL 数据库，它使用键值数据模型，其中每个键都与一个值相关联，该值存储为 Redis 支持的数据结构之一。该数据库是单线程的，这简化了其内部架构并减少了争用。Redis 可以部署为独立服务器、集群或主从复制设置，以实现可扩展性和高可用性。Redis 集群模式自动跨多个节点分片数据，提供数据分区和容错能力。