Apache Druid 与 MongoDB

Apache Druid 概览

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的强大能力而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动型数据和交互式分析的用例。

MongoDB 概览

MongoDB 是一个流行的开源 NoSQL 数据库，于 2009 年推出。MongoDB 旨在处理大量非结构化和半结构化数据，提供灵活的、无模式的数据模型、水平可扩展性和高性能。其易用性、基于 JSON 的文档存储以及对各种编程语言的支持促成了其在各个行业和应用中的广泛采用。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还为在更便宜的对象存储中存储历史数据提供了集成，因此也可以使用 Druid 分析历史时间序列数据。

MongoDB 用于时间序列数据

尽管 MongoDB 是一个通用的 NoSQL 数据库，但它可以用于存储和处理时间序列数据。MongoDB 灵活的数据模型允许轻松适应时间序列数据不断发展的结构，例如添加新指标或修改现有指标。MongoDB 提供对生存时间 (TTL) 索引的内置支持，这些索引会在指定时间段后自动过期旧数据，使其适用于管理具有有限存储容量的大量时间序列数据。MongoDB 最近还为时间序列用例添加了自定义列式存储引擎和时间序列集合，旨在提高默认 MongoDB 存储引擎在数据压缩和查询性能方面的性能。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每种节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

MongoDB 关键概念

MongoDB 特有的一些关键术语和概念包括

• 数据库：MongoDB 数据库是集合的容器，而集合是相关文档的组。
• 集合：MongoDB 中的集合类似于关系数据库中的表，用于保存一组文档。
• 文档：MongoDB 中的文档是单个记录，以称为 BSON（二进制 JSON）的类似 JSON 的格式存储。集合中的文档可以具有不同的结构。
• 字段：字段是文档中的键值对，类似于关系数据库中的属性或列。
• 索引：MongoDB 中的索引是一种数据结构，可提高集合中特定字段的查询性能。

Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为只需添加更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的 historical 节点或 real-time 节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分发。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，以及一个备用节点，用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到 middle manager 节点或 indexer 节点。它们的部署与 coordinator 节点类似，通常有一个活动的 overlord 和一个备用节点，用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的工作主力。虽然 MiddleManagers 启动用于数据摄取的短期任务，但 indexers 专为长期任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的可扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是充当 Druid 持久存储单元的组件。Druid 与各种 blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

MongoDB 架构

MongoDB 的架构以其灵活的、基于文档的数据模型为中心。作为 NoSQL 数据库，MongoDB 支持无模式结构，允许存储和查询多样化的数据类型，如嵌套数组和文档。MongoDB 可以部署为独立服务器、副本集或分片集群。副本集通过自动故障转移和数据冗余提供高可用性，而分片集群通过基于分片键在多台服务器之间分发数据来实现水平扩展和负载均衡。