Apache Druid 与 M3

Apache Druid 概览

Apache Druid 是一款开源实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 采用独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动数据和交互式分析的用例。

M3 概览

M3 是一款完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分配存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，因此也可以使用 Druid 分析历史时序数据。

M3 用于时序数据

M3 专门为时序数据而设计。它是一款分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

M3 关键概念

• 时序压缩：M3 具有压缩时序数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法 M3TSZ 和 protobuf 编码来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Apache Druid 架构

Apache Druid 是一款功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的水平扩展能力显而易见，只需合并更多节点即可扩展。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导至相应的 Historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 Historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 Coordinator 节点，并有一个备用节点用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到 MiddleManager 或 Indexer 节点。它们的部署与 Coordinator 节点类似，通常有一个活动的 Overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManager 启动用于数据摄取的短期任务，但 Indexer 专为长期任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的扩展能力很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与用于此目的的流行数据库兼容，包括 MySQL、PostgreSQL 和 Derby。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储时序值的压缩流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。