M3 与 VictoriaMetrics

M3 概览

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分发存储，并有效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛的使用。

VictoriaMetrics 概览

VictoriaMetrics 是由 VictoriaMetrics 公司开发的开源时序数据库。该数据库旨在通过提供最先进的监控和可观测性解决方案，帮助个人和组织应对他们的大数据挑战。VictoriaMetrics 被设计为快速、经济高效且可扩展的监控解决方案和时序数据库。

M3 用于时序数据

M3 专为时序数据设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

VictoriaMetrics 用于时序数据

VictoriaMetrics 专为时序数据设计，使其成为涉及时间戳数据存储和分析的应用程序的可靠选择。它提供高性能的存储和检索能力，能够高效处理大量的时序数据。

M3 关键概念

• 时序数据压缩：M3 具有压缩时序数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

VictoriaMetrics 关键概念

• 时序：VictoriaMetrics 以时序的形式存储数据，时序是由时间索引的数据点序列。
• 指标：指标表示随时间跟踪的特定测量或观察值。
• 标签：标签是与时序关联的键值对，用于过滤和分组数据。
• 字段：字段包含与时序关联的实际数据值。
• 查询语言：VictoriaMetrics 支持其自身的查询语言，用户可以使用该语言根据特定条件检索和分析时序数据。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时序值流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，以确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

VictoriaMetrics 架构

VictoriaMetrics 有两种形式：单服务器 VictoriaMetrics 和 VictoriaMetrics 集群。单服务器 VictoriaMetrics 是一个易于使用和维护的一体化二进制文件。它可以很好地垂直扩展，并且可以处理每秒数百万个指标。另一方面，VictoriaMetrics 集群由组件组成，这些组件允许构建水平可扩展的集群，从而在要求苛刻的环境中实现高可用性和可扩展性。VictoriaMetrics 的架构使用户可以选择最适合其需求的部署选项，并根据需要扩展其数据库基础设施。