M3 与 Apache Pinot 对比

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分发存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Apache Pinot 概述

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟响应复杂的分析查询。它最初在 LinkedIn 开发，并于 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，为大型数据集上的复杂查询提供近乎即时的响应。它被 LinkedIn、Microsoft 和 Uber 等多家大型组织使用。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Apache Pinot 用于时间序列数据

Apache Pinot 是处理时间序列数据的可靠选择，因为它具有列式存储和实时摄取功能。Pinot 从 Apache Kafka 等流媒体摄取数据的能力确保时间序列数据可以在生成时进行分析，此外还可以选择批量摄取数据。

M3 关键概念

• 时间序列压缩：M3 具有压缩时间序列数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键哈希到一组固定的虚拟分片，使水平扩展和节点管理无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Apache Pinot 关键概念

• 段：段是 Pinot 中数据存储的基本单元。它是一种列式存储格式，包含表数据的子集。
• 表：Pinot 中的表是段的集合。
• 控制器：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• 代理：代理负责接收查询，将其路由到相应的服务器，并将结果返回给客户端。
• 服务器：服务器存储段并处理这些段上的查询。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储时间序列值的压缩流。在块时间窗口变得不可访问后，这些文件将刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，可确保数据完整性。客户端对等流式处理负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，它使用混合数据模型，结合了 NoSQL 和 SQL 数据库的功能。其架构由三个主要组件组成：控制器、代理和服务器。控制器管理元数据和集群操作，而代理处理查询路由，服务器存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。