DuckDB 与 M3

DuckDB 概述

DuckDB 是一种进程内 SQL OLAP（在线分析处理）数据库管理系统。它旨在简单、快速且功能丰富。DuckDB 可用于处理和分析表格数据集，例如 CSV 或 Parquet 文件。它提供了丰富的 SQL 方言，支持事务、持久性、广泛的 SQL 查询以及对 Parquet 和 CSV 文件的直接查询。DuckDB 使用矢量化引擎构建，该引擎针对分析进行了优化并支持并行查询处理。它旨在易于安装和使用，没有外部依赖项，并支持多种编程语言。

M3 概述

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量监控时序数据，以水平可扩展的方式分配存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

DuckDB 用于时序数据

DuckDB 可以有效地用于时序数据。它支持处理和分析表格数据集，这些数据集可以包括存储在 CSV 或 Parquet 文件中的时序数据。凭借其优化的分析引擎和对复杂 SQL 查询的支持，DuckDB 可以高效地执行聚合、连接和其他时序分析操作。但是，重要的是要注意，DuckDB 并非专门为时序数据管理而设计，并且可能没有针对时序分析的专门功能，例如某些专用时序数据库。

M3 用于时序数据

M3 专为时序数据而设计。它是一个分布式且可扩展的时序数据库，经过优化，可处理大量高分辨率数据点，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

DuckDB 关键概念

• 进程内：DuckDB 在进程内运行，这意味着它在与使用它的应用程序相同的进程中运行，而无需单独的服务器。
• OLAP：DuckDB 是一个 OLAP 数据库，这意味着它针对分析查询处理进行了优化。
• 矢量化引擎：DuckDB 使用矢量化引擎，该引擎对批处理数据进行操作，从而提高查询性能。
• 事务：DuckDB 支持事务操作，确保数据操作的原子性、一致性、隔离性和持久性 (ACID) 属性。
• SQL 方言：DuckDB 提供了丰富的 SQL 方言，具有高级功能，例如任意和嵌套的相关子查询、窗口函数、排序规则以及对数组和结构等复杂类型的支持

M3 关键概念

• 时序压缩：M3 具有压缩时序数据的能力，从而显着节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现水平扩展和节点管理的无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

DuckDB 架构

DuckDB 遵循进程内架构，在与应用程序相同的进程中运行。它是一个关系型、面向表的数据库管理系统，支持 SQL 查询以生成分析结果。DuckDB 使用 C++11 构建，旨在没有外部依赖项。它可以编译为单个文件，从而易于安装和集成到应用程序中。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储时序值的压缩流。在块时间窗口变得不可访问后，这些文件将刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。