M3 与 Mimir

M3 概览

M3 是一款完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分配存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Mimir 概览

Grafana Mimir 是一个开源软件项目，为 Prometheus 提供可扩展的长期存储解决方案。Grafana Mimir 于 2022 年在 Grafana Labs 启动并发布，旨在成为最具可扩展性和高性能的指标开源时序数据库。该项目融入了 Grafana Labs 工程师在运行大规模 Grafana Enterprise Metrics 和 Grafana Cloud Metrics 时获得的知识和经验。

M3 用于时序数据

M3 专为时序数据而设计。它是一款分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以满足大规模部署的需求，并在数据量增长时保持性能。

Mimir 用于时序数据

Grafana Mimir 非常适合处理时序数据，使其成为涉及指标存储和分析场景的合适选择。它为 Prometheus（一种流行的开源监控和警报系统）提供长期存储功能。借助 Grafana Mimir，用户可以长期存储和查询时序指标，从而进行历史分析和趋势检测。它特别适用于需要可扩展且高性能的时序数据存储以用于指标监控和可观测性目的的应用程序。

M3 关键概念

• 时序数据压缩：M3 能够压缩时序数据，从而显着节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Mimir 关键概念

• 指标：在 Grafana Mimir 中，指标表示随时间跟踪的度量或观察结果。它们可以包括各种类型的数据，例如系统指标、应用程序性能指标或传感器数据。
• 长期存储：Grafana Mimir 提供专门为长期保留时序数据而定制的存储解决方案，允许用户长期存储和查询历史指标。
• 微服务：Grafana Mimir 采用基于微服务的架构，其中系统由多个水平可扩展的微服务组成，这些微服务可以独立并行运行。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储压缩的时序值流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，类似于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等节点获取块以进行引导。M3 还实现了缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

Mimir 架构

Grafana Mimir 采用基于微服务的架构，其中系统由多个水平可扩展的微服务组成。这些微服务可以独立并行运行，从而实现工作负载的有效分配和可扩展性。Grafana Mimir 的组件被编译成一个单独的二进制文件，提供了一个统一且有凝聚力的系统。该架构旨在实现高可用性和多租户，允许多个用户和应用程序同时使用数据库。这种分布式架构确保了在处理大规模指标存储和检索场景中的可扩展性和弹性。