InfluxDB 与 AWS Redshift

InfluxDB 概览

InfluxDB 是一个高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和追踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为监控性能指标、物联网数据和实时分析等用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。它使用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许独立扩展计算和存储。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

AWS Redshift 概览

Amazon Redshift 是云中完全托管的 PB 级数据仓库服务。它于 2012 年作为 AWS 产品套件的一部分推出。Redshift 专为分析工作负载而设计，并与各种数据加载和 ETL 工具以及商业智能和报告工具集成。它使用列式存储来优化存储成本并提高查询性能。

InfluxDB 用于时序数据

InfluxDB 专门为时序数据而设计，使其非常适合涉及随时间推移跟踪和分析数据点的应用程序。它在以高容量持续写入数据，同时用户还需要能够在摄取后快速查询数据以用于监控和实时分析用例的场景中表现出色。

AWS Redshift 用于时序数据

AWS Redshift 可用于时序数据工作负载，尽管 Redshift 针对更通用的数据仓库用例进行了优化。用户可以利用日期和时间函数来聚合、过滤和转换时序数据。Redshift 还提供“时序表”，允许根据固定的保留期将数据存储在表中。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可以实现更好的数据压缩，并加快分析工作负载的查询速度。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。最高层是存储桶（buckets），它类似于其他系统称为数据库的内容。InfluxDB measurements 与表同义。measurement 的特定数据点包含标签（tags）和值（values）。标签用作查询数据的主键的一部分，应用于识别查询期间用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序架构。其中一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，可以通过 HTTP API 或使用 InfluxDB CLI 访问所有数据库功能。对于写入数据，InfluxDB 创建了 Telegraf，这是一种可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许独立扩展查询计算、数据摄取和存储。这使得 InfluxDB 可以针对您的用例进行微调，并显著节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时序数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在被自动删除之前存储多长时间。这对于管理高容量时序数据的存储非常有用。

AWS Redshift 关键概念

• 集群：Redshift 集群是一组节点，由一个领导节点和一个或多个计算节点组成。领导节点管理与客户端应用程序的通信，并协调计算节点之间的查询执行。
• 计算节点：这些节点存储数据并并行执行查询。集群中计算节点的数量会影响其存储容量和查询性能。
• 列式存储：Redshift 使用列式存储格式，以列而不是行的形式存储数据。这种格式提高了查询性能并减少了存储空间需求。
• 节点切片：计算节点分为切片。每个切片都分配有节点内存和磁盘空间的均等部分，在其中处理加载的数据的一部分。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本和部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询这些数据，同时，压缩器在后台获取新写入的数据文件，并将它们合并为更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得数据可以廉价地存储，而不会增加查询延迟。

AWS Redshift 架构

Redshift 的架构基于分布式和无共享架构。一个集群由一个领导节点和一个或多个计算节点组成。领导节点负责协调查询执行，而计算节点存储数据并并行执行查询。数据以列式格式存储，这提高了查询性能并减少了存储空间需求。Redshift 使用大规模并行处理 (MPP) 在多个节点之间分发和执行查询，使其能够水平扩展并为大规模数据仓库工作负载提供高性能。