M3 与 OpenTSDB

M3 概述

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分配存储，并高效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

OpenTSDB 概述

OpenTSDB（开放时序数据库）是一个构建在 Apache HBase（NoSQL 数据库）之上的开源、分布式且可扩展的时序数据库。OpenTSDB 的设计旨在满足不断增长的需求，即存储和处理由各种来源（如物联网设备、传感器和监控系统）生成的大量时序数据。它最初由 StumbleUpon 于 2010 年开发，后来成为一个拥有活跃贡献者社区的独立项目。

M3 用于时序数据

M3 专为时序数据而设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询能力以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

OpenTSDB 用于时序数据

OpenTSDB 专为时序数据存储和分析而设计，使其成为管理大规模时序数据集的理想选择。其架构实现了高写入和查询性能，并且可以以最小的资源消耗处理每秒数百万个数据点。OpenTSDB 灵活的查询功能允许用户高效地对时序数据执行复杂分析。

M3 关键概念

• 时序数据压缩：M3 具有压缩时序数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现水平扩展和节点管理的无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取。

OpenTSDB 关键概念

• 数据点：时间上的单个测量值，包括时间戳、指标、值和关联标签。
• 指标：一个命名值，表示系统的特定方面，例如 CPU 使用率或温度。
• 标签：与数据点关联的键值对，提供元数据并帮助分类和查询数据。

M3 架构

M3 设计为水平可扩展并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储压缩的时序值流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

OpenTSDB 架构

OpenTSDB 构建在 Apache HBase（一个分布式且可扩展的 NoSQL 数据库）之上，并依靠其架构进行数据存储和管理。OpenTSDB 将时序数据存储在 HBase 表中，数据点按指标、时间戳和标签组织。该数据库使用无模式数据模型，允许在添加新指标和标签时具有灵活性。OpenTSDB 架构还支持通过跨多个 HBase 节点分布数据来实现水平扩展。