ClickHouse 与 M3

ClickHouse 概述

ClickHouse 是一款开源列式数据库管理系统，专为高性能在线分析处理 (OLAP) 任务而设计。它由俄罗斯领先的科技公司 Yandex 开发。ClickHouse 以其实时处理大量数据的能力而闻名，可提供快速的查询性能和实时分析。其列式存储架构能够实现高效的数据压缩和更快的查询执行，使其适用于大规模数据分析和商业智能应用程序。

M3 概述

M3 是一款完全用 Go 编写的分布式时序数据库。它旨在收集大量的监控时序数据，以水平可扩展的方式分配存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

ClickHouse 用于时序数据

ClickHouse 可用于有效地存储和分析时序数据，尽管它并非专门针对处理时序数据进行优化。虽然 ClickHouse 一旦摄取即可非常快速地查询时序数据，但它在需要以较小批量摄取数据以进行实时分析的极高写入场景中往往会遇到困难。

M3 用于时序数据

M3 专为时序数据而设计。它是一款分布式且可扩展的时序数据库，经过优化，可处理大量高分辨率数据点，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

ClickHouse 关键概念

• 列式存储：ClickHouse 以列式格式存储数据，这意味着每个列的数据都单独存储。这实现了高效的压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。
• 分布式处理：ClickHouse 支持分布式处理，允许跨集群中的多个节点执行查询，从而提高查询性能和可扩展性。
• 数据复制：ClickHouse 提供数据复制，确保在硬件故障或节点中断时的数据可用性和容错能力。
• 物化视图：ClickHouse 支持物化视图，物化视图是作为表存储的预计算查询结果。物化视图可以显着提高查询性能，因为它们允许通过避免重新计算每个查询的结果来更快地检索数据。

M3 关键概念

• 时序压缩：M3 具有压缩时序数据的能力，从而显着节省内存和磁盘空间。它使用 M3TSZ 和 protobuf 编码两种压缩算法来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，从而实现水平扩展和无缝节点管理。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

ClickHouse 架构

ClickHouse 的架构旨在支持对大型数据集进行高性能分析。ClickHouse 以列式格式存储数据。这实现了高效的数据压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。ClickHouse 还支持分布式处理，这允许跨集群中的多个节点执行查询。ClickHouse 使用 MergeTree 存储引擎作为其主要表引擎。MergeTree 专为高性能 OLAP 任务而设计，并支持数据复制、数据分区和索引。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储压缩的时序值流。这些文件在块时间窗口变得不可访问后刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。