M3 与 TimescaleDB

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分发存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

TimescaleDB 概述

TimescaleDB 是一个构建于 PostgreSQL 之上的开源时间序列数据库。它的创建是为了解决管理时间序列数据的挑战，例如可扩展性、查询性能和数据保留策略。TimescaleDB 于 2017 年首次发布，此后因其 PostgreSQL 兼容性、性能优化和灵活的数据保留策略而成为存储和分析时间序列数据的热门选择。

M3 用于时间序列数据

M3 专为时间序列数据设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

TimescaleDB 用于时间序列数据

TimescaleDB 专为时间序列数据设计，使其成为存储和查询此类数据的自然选择。它为时间序列数据管理提供了多项优势，例如水平可扩展性、列式存储和保留策略支持。但是，TimescaleDB 可能不是所有时间序列用例的最佳选择。例如，如果应用程序需要非常高的写入吞吐量或实时分析，则其他专门的时间序列数据库（如 InfluxDB）可能更适合。

M3 关键概念

• 时间序列压缩：M3 能够压缩时间序列数据，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

TimescaleDB 关键概念

• 超表：超表是一个分布式表，按时间和可能的其他维度（例如设备 ID 或位置）进行分区。它是 TimescaleDB 中存储时间序列数据的主要抽象，旨在跨多个节点进行水平扩展。
• 块：块是超表的一个分区，包含超表数据的子集。块由 TimescaleDB 根据指定的时间间隔自动创建，并且可以单独压缩、索引和备份，以获得更好的性能和数据管理。
• 分布式超表：对于大规模部署，TimescaleDB 支持分布式超表，它跨多个节点分区数据，以提高查询性能和容错能力。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储时间序列值的压缩流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，可确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

TimescaleDB 架构

TimescaleDB 是构建在 PostgreSQL 之上的扩展，继承了其关系数据模型和 SQL 支持。但是，TimescaleDB 使用自定义数据结构和针对时间序列数据的优化（例如超表和块）扩展了 PostgreSQL。