InfluxDB 与 M3

InfluxDB 概览

InfluxDB 是高性能时间序列数据库，能够存储任何形式的时间序列数据，例如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时间序列数据进行了优化，使其成为涉及监控性能指标、物联网数据和实时分析的用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中可用。它用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许独立扩展计算和存储。InfluxDB 3.0 为 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）提供查询支持。

M3 概览

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分配存储，并高效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛使用。

InfluxDB 用于时间序列数据

InfluxDB 专为时间序列数据而设计，使其非常适合涉及随时间推移跟踪和分析数据点的应用程序。它在数据以高容量连续写入的情况下表现出色，同时用户也需要能够快速查询摄取后的数据，以用于监控和实时分析用例。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可以更好地压缩数据，并加快分析工作负载的查询速度。
• 数据模型：任何使用过其他数据库系统的人都会熟悉 InfluxDB 数据模型。在最高级别是存储桶，这类似于其他系统所称的数据库。InfluxDB 度量等同于表。度量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应用于识别在查询期间用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序架构。其中的一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。为了写入数据，InfluxDB 创建了 Telegraf，这是一种工具，可以通过插件从数百个不同的来源收集数据并将数据写入 InfluxDB。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许独立扩展查询计算、数据摄取和存储。这允许针对您的用例对 InfluxDB 进行微调，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，其中包含许多专门用于处理时间序列数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，该策略确定数据在自动删除之前存储多长时间。这对于管理大容量时间序列数据的存储非常有用。

M3 关键概念

• 时间序列压缩：M3 能够压缩时间序列数据，从而显着节省内存和磁盘空间。它使用两种压缩算法 M3TSZ 和 protobuf 编码来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而使水平扩展和节点管理变得无缝。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，这对应于从单个节点读取

InfluxDB 架构

在高层次上，InfluxDB 的架构旨在优化时间序列数据的存储和查询性能。InfluxDB 的确切架构会因版本和您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器写入，延迟为毫秒级。数据查询器几乎可以立即查询这些数据，同时压缩器在后台获取新写入的数据文件，并将它们合并为将发送到对象存储的更大的文件。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得可以廉价地存储数据，而不会增加查询延迟。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时间序列值流。在块时间窗口变得无法访问后，这些文件将被刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。