M3 与 Snowflake

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分布存储，并有效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源用于更广泛的用途。

Snowflake 概述

Snowflake 是一个基于云的数据仓库平台，成立于 2012 年，并于 2014 年正式发布。它旨在使组织能够高效地存储、处理和分析大量结构化和半结构化数据。Snowflake 独特的架构分离了存储、计算和云服务，允许用户独立扩展和优化每个组件。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Snowflake 用于时间序列数据

虽然 Snowflake 并非专为时间序列数据而设计，但由于其可扩展且灵活的架构，它仍然可以有效地存储、处理和分析此类数据。Snowflake 的列式存储格式，结合其强大的查询引擎和对 SQL 的支持，使其成为时间序列数据分析的合适选择。

M3 关键概念

• 时间序列压缩：M3 能够压缩时间序列数据，从而显著节省内存和磁盘空间。它使用 M3TSZ 和 protobuf 编码两种压缩算法来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，使水平扩展和节点管理无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Snowflake 关键概念

• 虚拟仓库：Snowflake 中的一种计算资源，用于处理查询并执行数据加载和卸载。虚拟仓库可以根据需求独立地向上或向下扩展。
• 微分区：Snowflake 中的一种存储单元，包含表中数据的子集。微分区经过自动优化，可实现高效查询。
• 时间旅行：Snowflake 中的一项功能，允许用户查询特定时间点或特定时间范围内的历史数据。
• 数据共享：在 Snowflake 账户之间安全共享数据的能力，无需复制或传输数据。

M3 架构

M3 被设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储时间序列值的压缩流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，可确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保存在内存中来优化高效读取。

Snowflake 架构

Snowflake 的架构分离了存储、计算和云服务，允许用户独立扩展和优化每个组件。该平台使用列式存储格式，并支持 ANSI SQL 进行查询和数据操作。Snowflake 构建在 AWS、Azure 和 GCP 之上，提供完全托管、弹性且安全的数据仓库解决方案。Snowflake 架构的关键组件包括数据库、表、虚拟仓库和微分区。