M3 与 PostgreSQL 对比

M3 概述

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分发存储，并有效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

PostgreSQL 概述

PostgreSQL，也称为 Postgres，是一个开源关系型数据库管理系统，于 1996 年首次发布。它长期以来一直是一个强大、可靠且功能丰富的数据库系统，广泛应用于各行各业和各种应用程序。PostgreSQL 以其对 SQL 标准的遵守和可扩展性而闻名，这允许用户定义自己的数据类型、运算符和函数。它由一个由贡献者组成的专门社区开发和维护，可在多个平台上使用，包括 Windows、Linux 和 macOS。

M3 用于时序数据

M3 专为时序数据设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

PostgreSQL 用于时序数据

PostgreSQL 可以用于时序数据存储和分析，尽管它并非专门为此用例而设计。凭借其丰富的数据类型、索引选项和窗口函数支持，PostgreSQL 可以处理时序数据。但是，在数据压缩、写入吞吐量和查询速度等方面，PostgreSQL 不如专门的时序数据库那样针对时序数据进行优化。PostgreSQL 还缺少许多对于处理时序数据有用的功能，例如降采样、保留策略和用于时序数据分析的自定义 SQL 函数。

M3 关键概念

• 时序数据压缩：M3 具有压缩时序数据的能力，从而显著节省内存和磁盘空间。它使用 M3TSZ 和 protobuf 编码两种压缩算法来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读写操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

PostgreSQL 关键概念

• MVCC：多版本并发控制是 PostgreSQL 使用的一种技术，允许并发执行多个事务，而不会发生冲突或锁定。
• WAL：预写式日志是一种用于确保数据持久性的方法，通过在将更改写入主数据文件之前将其记录到日志中。
• TOAST：超大属性存储技术是一种将大型数据值存储在单独表中的机制，以减少主表的磁盘空间消耗。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储时序值的压缩流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写式日志，以确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

PostgreSQL 架构

PostgreSQL 是一个客户端-服务器关系型数据库系统，它使用 SQL 语言进行查询和操作。它采用基于进程的架构，每个到数据库的连接都由一个单独的服务器进程处理。这种架构提供了不同用户和会话之间的隔离。PostgreSQL 支持 ACID 事务，并结合使用 MVCC、WAL 和其他技术来确保数据一致性、持久性和性能。它还支持各种扩展和外部模块来增强其功能。