M3 与 RRDtool

M3 概览

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量的监控时序数据，以水平可扩展的方式分配存储，并高效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛的使用。

RRDtool 概览

RRDtool，是 Round-Robin Database Tool（轮询数据库工具）的缩写，是一个开源、高性能的数据记录和绘图系统，旨在处理时序数据。RRDtool 由 Tobias Oetiker 于 1999 年创建，专门用于存储和可视化时序数据，例如网络带宽、温度或 CPU 负载。它的主要功能是高效存储数据点，使用固定大小的数据库自动聚合和归档旧数据点，确保数据库大小随时间推移保持恒定。

M3 用于时序数据

M3 专为时序数据而设计。它是一个分布式和可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

RRDtool 用于时序数据

RRDtool 专为时序数据存储和可视化而创建，使其非常适合需要高效处理此类数据的应用程序。其轮询数据库结构确保了恒定的存储空间使用率，同时提供自动数据聚合和归档。但是，RRDtool 可能不适用于需要复杂查询或关系数据存储的应用程序，因为它的重点主要在于时序数据。

M3 关键概念

• 时序压缩：M3 能够压缩时序数据，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

RRDtool 关键概念

• 轮询数据库：一种固定大小的数据库，使用循环缓冲区存储时序数据，并在添加新数据时覆盖旧数据。
• RRD 文件：包含 RRDtool 数据库的所有配置和数据的单个文件。
• 合并函数：一种将多个数据点聚合为单个数据点的函数，例如 AVERAGE、MIN、MAX 或 LAST。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时序值流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，可确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

RRDtool 架构

RRDtool 是一种专门的时序数据库，不使用 SQL 或传统的关系数据模型。相反，它采用轮询数据库结构，数据点存储在固定大小的循环缓冲区中。RRDtool 是一个命令行工具，可用于创建和更新 RRD 文件，以及从存储的数据生成图形和报告。它可以通过可用的绑定与各种脚本语言（例如 Perl、Python 和 Ruby）集成。