AWS DynamoDB 与 M3

AWS DynamoDB 概述

Amazon DynamoDB 是 AWS 提供的托管 NoSQL 数据库服务。它于 2012 年首次推出，旨在提供低延迟、高吞吐量的性能。DynamoDB 构建于 Amazon 工程师于 2007 年发布的 Dynamo 论文的原则之上，旨在提供高度可用、可扩展和分布式的键值存储。

M3 概述

M3 是一个完全用 Go 编写的分布式时间序列数据库。它旨在收集大量监控时间序列数据，以水平可扩展的方式分配存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛的使用。

AWS DynamoDB 用于时间序列数据

DynamoDB 可以用于时间序列数据，尽管与专门的时间序列数据库相比，它可能不是最优化的解决方案。要在 DynamoDB 中存储时间序列数据，您可以使用复合主键，其中分区键用于实体标识符，排序键用于时间戳。这使您可以有效地查询特定实体和时间范围内的数据。但是，DynamoDB 在处理时间序列数据时的主要缺点是它缺乏对数据聚合和降采样的内置支持，而这些是时间序列分析的常见要求。您可能需要在应用程序中执行这些操作，或者使用 AWS Lambda 等其他服务来处理数据。

M3 用于时间序列数据

M3 专为时间序列数据而设计。它是一个分布式且可扩展的时间序列数据库，经过优化，可处理大量高分辨率数据点，使其成为存储、查询和分析时间序列数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时间序列数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

AWS DynamoDB 关键概念

一些特定于 DynamoDB 的关键术语和概念包括

• 表格：在 DynamoDB 中，数据存储在表格中，表格是项目的容器。每个表格都有一个主键，用于唯一标识表格中的每个项目。
• 项目：项目是 DynamoDB 表格中的单个记录，它们由一个或多个属性组成。
• 属性：属性是构成表格中项目的键值对。 DynamoDB 支持标量、文档和集合数据类型用于属性。
• 主键：主键唯一标识表格中的每个项目，它可以是单属性分区键或复合分区排序键。

M3 关键概念

• 时间序列压缩：M3 能够压缩时间序列数据，从而显着节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时间序列键被哈希到一组固定的虚拟分片，从而实现水平扩展和节点管理的无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

AWS DynamoDB 架构

DynamoDB 是一个 NoSQL 数据库，它使用键值存储和文档数据模型。它旨在通过在多台服务器之间自动分区数据并使用复制来确保容错能力，从而提供高可用性、持久性和可扩展性。 DynamoDB 的一些主要组件包括

• 分区：DynamoDB 根据分区键自动分区数据，这确保数据均匀分布在多个存储节点之间。
• 复制：DynamoDB 在 AWS 区域内的多个可用区之间复制数据，从而提供高可用性和持久性。
• 一致性：DynamoDB 提供两种一致性模型：最终一致性和强一致性，使您可以为应用程序选择适当的一致性级别。

M3 架构

M3 旨在实现水平可扩展性并处理高数据吞吐量。它使用文件集文件作为长期存储的主要单元，存储压缩的时间序列值流。这些文件在块时间窗口变为不可访问后刷新到磁盘。 M3 具有提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流式传输负责从对等方获取块以进行引导。 M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。