AWS Redshift 与 TimescaleDB

AWS Redshift 概述

Amazon Redshift 是一种完全托管的、PB 级数据仓库云服务。它于 2012 年作为 AWS 产品套件的一部分推出。Redshift 专为分析工作负载而设计，并与各种数据加载和 ETL 工具以及商业智能和报告工具集成。它使用列式存储来优化存储成本并提高查询性能。

TimescaleDB 概述

TimescaleDB 是一个构建于 PostgreSQL 之上的开源时序数据库。它的创建是为了解决管理时序数据的挑战，例如可扩展性、查询性能和数据保留策略。TimescaleDB 于 2017 年首次发布，此后因其 PostgreSQL 兼容性、性能优化和灵活的数据保留策略而成为存储和分析时序数据的热门选择。

AWS Redshift 用于时序数据

AWS Redshift 可用于时序数据工作负载，尽管 Redshift 针对更通用的数据仓库用例进行了优化。用户可以利用日期和时间函数来聚合、过滤和转换时序数据。Redshift 还提供“时序表”，允许数据根据固定的保留期限存储在表中。

TimescaleDB 用于时序数据

TimescaleDB 专门为时序数据而设计，使其成为存储和查询此类数据的自然选择。它为时序数据管理提供了多个优势，例如水平可扩展性、列式存储和保留策略支持。但是，TimescaleDB 可能不是所有时序用例的最佳选择。例如，如果应用程序需要非常高的写入吞吐量或实时分析，则其他专门的时序数据库（如 InfluxDB）可能更合适。

AWS Redshift 关键概念

• 集群：Redshift 集群是一组节点，由一个领导节点和一个或多个计算节点组成。领导节点管理与客户端应用程序的通信，并协调计算节点之间的查询执行。
• 计算节点：这些节点存储数据并并行执行查询。集群中计算节点的数量会影响其存储容量和查询性能。
• 列式存储：Redshift 使用列式存储格式，该格式将数据存储在列而不是行中。这种格式提高了查询性能并减少了存储空间需求。
• 节点切片：计算节点被划分为切片。每个切片被分配节点内存和磁盘空间的相等部分，在其中处理加载数据的一部分。

TimescaleDB 关键概念

• 超表：超表是一个分布式表，按时间和可能的其他维度（例如设备 ID 或位置）进行分区。它是 TimescaleDB 中存储时序数据的主要抽象，旨在跨多个节点水平扩展。
• 块：块是超表的分区，包含超表数据的子集。块由 TimescaleDB 根据指定的时间间隔自动创建，并且可以单独压缩、索引和备份，以获得更好的性能和数据管理。
• 分布式超表：对于大规模部署，TimescaleDB 支持分布式超表，它跨多个节点对数据进行分区，以提高查询性能和容错能力。

AWS Redshift 架构

Redshift 的架构基于分布式和共享无架构。一个集群由一个领导节点和一个或多个计算节点组成。领导节点负责协调查询执行，而计算节点存储数据并并行执行查询。数据以列式格式存储，这提高了查询性能并减少了存储空间需求。Redshift 使用大规模并行处理 (MPP) 在多个节点之间分发和执行查询，使其能够水平扩展并为大规模数据仓库工作负载提供高性能。

TimescaleDB 架构

TimescaleDB 是构建在 PostgreSQL 之上的扩展，继承了其关系数据模型和 SQL 支持。但是，TimescaleDB 使用自定义数据结构和针对时序数据的优化（例如超表和块）扩展了 PostgreSQL。