Graphite 与 M3

Graphite 概述

Graphite 是一个开源监控和图形工具，由 Orbitz 于 2006 年创建，并于 2008 年开源。Graphite 专为存储时序数据而设计，广泛用于收集、存储和可视化来自各种来源的指标，例如应用程序性能、系统监控和业务分析。

M3 概述

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分配存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

Graphite 用于时序数据

Graphite 专为时序数据而设计和优化。它使用 Whisper 数据库格式，该格式通过根据用户定义的保留策略自动聚合和过期数据来有效地存储和管理时序数据。Graphite 支持广泛的函数，用于查询、转换和聚合时序数据，使用户能够创建自定义图形和仪表板。但是，由于 Graphite 专门关注时序数据，因此它可能不适用于其他类型的数据或需要更高级数据建模或查询功能的使用案例。

M3 用于时序数据

M3 专为时序数据而设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

Graphite 关键概念

• 指标 (Metric)：Graphite 中的指标表示时序数据点，由路径（名称）、时间戳和值组成。
• 序列 (Series)：序列是与同一事物相关的所有指标的集合。例如，您可能有一个 CPU 使用率序列、一个内存使用率序列和一个磁盘使用率序列。
• Whisper：Whisper 是 Graphite 使用的固定大小、基于文件的时序数据库格式。它自动管理数据保留和聚合。
• Carbon：Carbon 是负责接收、缓存和存储 Graphite 中指标的守护进程。它侦听传入的指标并将它们写入 Whisper 文件。
• Graphite-web：Graphite-web 是 Web 应用程序，它为可视化和查询存储的时序数据提供用户界面。

M3 关键概念

• 时序压缩 (Time Series Compression)：M3 具有压缩时序数据的能力，从而显着节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片 (Sharding)：M3 使用分配给物理节点的虚拟分片。时序键哈希到一组固定的虚拟分片，从而实现无缝的水平扩展和节点管理。
• 一致性级别 (Consistency Levels)：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

Graphite 架构

Graphite 的架构由几个组件组成，包括 Carbon、Whisper 和 Graphite-web。Carbon 负责从各种来源接收指标，将它们缓存在内存中，并将它们存储在 Whisper 文件中。Whisper 是一种基于文件的时序数据库格式，可有效管理数据保留和聚合。Graphite-web 是 Web 应用程序，它为查询和可视化存储的时序数据提供用户界面。Graphite 可以部署在单个服务器上，也可以分布在多个服务器上，以提高性能和可扩展性。

M3 架构

M3 旨在实现水平扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时序值流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。