M3 与 StarRocks 对比

M3 概览

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分布存储，并有效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源供更广泛使用。

StarRocks 概览

StarRocks 是一个开源高性能分析型数据仓库，支持实时、多维和高并发数据分析。它采用 MPP（大规模并行处理）架构，并配备了完全向量化的执行引擎和支持实时更新的列式存储引擎。

M3 用于时序数据

M3 专为时序数据设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

StarRocks 用于时序数据

StarRocks 主要专注于数据仓库工作负载，但也可用于时序数据。StarRocks 可用于实时分析和历史数据分析。

M3 关键概念

• 时序数据压缩：M3 能够压缩时序数据，从而显著节省内存和磁盘空间。它使用 M3TSZ 和 protobuf 编码两种压缩算法来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

StarRocks 关键概念

• MPP 架构：StarRocks 采用 MPP 架构，该架构支持并行处理和分布式查询执行，从而实现高性能和可扩展性。
• 向量化执行引擎：StarRocks 采用完全向量化的执行引擎，该引擎利用 SIMD（单指令多数据）指令批量处理数据，从而优化查询性能。
• 列式存储引擎：StarRocks 中的列式存储引擎按列组织数据，这通过仅访问查询执行期间所需的列来提高查询性能。
• 基于成本的优化器 (CBO)：StarRocks 包括一个完全自定义的基于成本的优化器，该优化器评估不同的查询执行计划，并根据估计的成本选择最有效的计划。
• 物化视图：StarRocks 支持智能物化视图，这些物化视图是数据的预计算摘要，通过提供对聚合数据的更快访问来加速查询性能。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时序值流。在块时间窗口变得不可访问后，这些文件会被刷新到磁盘。M3 具有提交日志，类似于其他数据库中的提交日志或预写日志，以确保数据完整性。客户端对等流负责从对等节点获取块以进行引导。M3 还实现了缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

StarRocks 架构

StarRocks 的架构包括完全向量化的执行引擎和列式存储引擎，以实现高效的数据处理和存储。它还集成了基于成本的优化器和物化视图等功能，以优化查询性能。StarRocks 支持从各种来源实时和批量数据摄取，并可以直接分析存储在数据湖中的数据，而无需数据迁移。