Amazon Timestream for LiveAnalytics 与 M3 的比较

Amazon Timestream for LiveAnalytics 概述

Timestream for LiveAnalytics 是 AWS 开发的完全托管的无服务器时间序列数据库服务。Amazon Timestream for LiveAnalytics 于 2020 年推出，专为处理时间序列数据而设计，使其成为需要高摄取率、高效存储和快速查询功能的物联网、监控和分析应用程序的理想选择。作为 AWS 生态系统的一部分，Timestream for LiveAnalytics 可以轻松地与其他 AWS 服务集成，从而简化了在云中构建和部署时间序列应用程序的过程。AWS 还提供 Timestream for InfluxDB，它是 InfluxDB 的托管版本，与 InfluxDB 2.x API 兼容，并且与 InfluxData 合作发布。

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分配存储，并有效利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源供更广泛使用。

Amazon Timestream for LiveAnalytics 用于时间序列数据

Amazon Timestream for LiveAnalytics 专为处理时间序列数据而设计，使其成为需要高摄取率和高效存储的各种应用程序的合适选择。其双层存储架构，包括内存存储和磁盘存储，允许用户根据数据年龄和访问模式管理数据保留并优化存储成本。此外，Timestream 支持类似 SQL 的查询，并与流行的分析工具集成，使用户可以轻松地从其时间序列数据中获得见解。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，经过优化，可处理大量高分辨率数据点，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以满足大规模部署的需求，并在数据量增长时保持性能。

Amazon Timestream for LiveAnalytics 关键概念

• 内存存储：在 Amazon Timestream for LiveAnalytics 中，内存存储是一个组件，用于在内存中存储最近的、可变的时间序列数据，以便快速查询和分析。
• 磁盘存储：Amazon Timestream for LiveAnalytics 中的磁盘存储负责在磁盘上存储历史的、不可变的时间序列数据，以实现经济高效的长期存储。
• 生存时间 (TTL)：Amazon Timestream for LiveAnalytics 允许用户在其时间序列数据上设置 TTL，这决定了数据在内存存储中保留多长时间，然后移动到磁盘存储或删除。

M3 关键概念

• 时间序列压缩：M3 具有压缩时间序列数据的能力，从而显着节省内存和磁盘空间。它使用 M3TSZ 和 protobuf 编码两种压缩算法来实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而实现水平扩展和节点管理的无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，这对应于从单个节点读取

Amazon Timestream for LiveAnalytics 架构

Amazon Timestream for LiveAnalytics 构建在无服务器分布式架构之上，该架构支持类似 SQL 的查询功能。其数据模型专为时间序列数据量身定制，使用带时间戳的记录和灵活的架构，可以适应不同的数据粒度和维度。Timestream 架构的核心组件包括内存存储和磁盘存储，它们共同管理数据保留、存储和查询。内存存储针对最近数据的快速查询进行了优化，而磁盘存储则为历史数据提供了经济高效的长期存储。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时间序列值流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。