M3 与 Rockset

M3 概览

M3 是一款完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分配存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Rockset 概览

Rockset 是一款实时索引数据库，专为快速、高效地查询结构化和半结构化数据而设计。Rockset 由前 Facebook 工程师于 2016 年创立，旨在提供一种无服务器搜索和分析解决方案，使用户能够构建强大的应用程序和数据驱动的产品，而无需传统数据库管理的复杂性。

M3 用于时间序列数据

M3 专为时间序列数据设计。它是一款分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构专注于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Rockset 用于时间序列数据

Rockset 的实时索引和低延迟查询功能使其成为时间序列数据分析的绝佳选择。其无模式摄取和对复杂数据类型的支持使得处理时间序列数据变得轻松，而其 Converged Index 确保了对历史数据和实时数据的高效查询。Rockset 特别适合需要实时分析的应用程序，例如物联网监控和异常检测。

M3 关键概念

• 时间序列压缩：M3 具有压缩时间序列数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而使水平扩展和节点管理变得无缝。
• 一致性级别：M3 为读写操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Rockset 关键概念

• 融合索引：Rockset 使用一种独特的索引方法，将倒排索引和列式索引相结合，使数据库能够针对搜索和分析用例进行优化。
• 无模式摄取：Rockset 在摄取时自动推断模式，从而可以轻松处理 JSON 等半结构化数据格式。
• 虚拟实例：Rockset 使用虚拟实例的概念为不同的工作负载提供隔离和资源分配，从而确保可预测的性能。

M3 架构

M3 旨在实现水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储时间序列值的压缩流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流式传输负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保存在内存中来优化高效读取。

Rockset 架构

Rockset 使用云原生、无服务器架构，该架构构建在分布式、共享无系统之上。它是一个 NoSQL 数据库，与传统关系数据库相比，具有更高的灵活性和可扩展性。Rockset 架构的核心组件包括摄取服务、存储服务和查询服务。摄取服务负责从各种来源摄取数据，而存储服务维护融合索引。查询服务处理查询并为开发人员提供与数据库交互的 API。