M3 与 QuestDB

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分发存储，并高效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

QuestDB 概述

QuestDB 是一个开源关系型列式数据库，专门为时间序列和事件数据而设计。它结合了高性能的摄取能力和 SQL 分析，使其成为管理和分析大量基于时间的数据的强大工具。QuestDB 解决了处理高吞吐量的挑战，并提供了一种通过 SQL 查询分析摄取数据的简单方法。它非常适合金融市场数据和应用程序指标等用例。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

QuestDB 用于时间序列数据

QuestDB 在管理和分析时间序列数据方面表现出色。凭借其高性能的摄取能力，它可以处理高数据吞吐量，使其适用于实时数据摄取场景。QuestDB 用于时间序列的 SQL 扩展使用户能够执行实时分析并从时间戳数据中获得有价值的见解。无论是金融市场数据还是应用程序指标，QuestDB 都通过其快速的 SQL 查询和操作简易性简化了摄取和分析时间序列数据的过程。

M3 关键概念

• 时间序列压缩：M3 能够压缩时间序列数据，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，使水平扩展和节点管理无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

QuestDB 关键概念

• 时间序列：QuestDB 专注于时间序列数据，它表示按时间索引的数据点。它针对高效存储和处理带时间戳的数据进行了优化。
• 列式存储：QuestDB 采用列式存储格式，其中数据按列而不是按行组织和存储。这种格式能够实现高效压缩和更快的查询性能。
• SQL 扩展：QuestDB 使用专门为时间序列数据量身定制的功能扩展了 SQL 语言。这些扩展促进了实时分析，并允许用户利用熟悉的 SQL 结构来查询基于时间的数据。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储时间序列值的压缩流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，确保数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

QuestDB 架构

QuestDB 遵循混合架构，该架构结合了列式和行式数据库的功能。它利用列式存储格式来实现高效压缩和查询性能，同时保留了使用 SQL 功能处理关系数据的能力。QuestDB 支持 SQL 和类似 NoSQL 的功能，为用户在数据建模和查询方法方面提供了灵活性。该数据库由多个组件组成，包括摄取引擎、存储引擎和查询引擎，它们协同工作以确保高性能的数据摄取和检索。