InfluxDB 与 Amazon Timestream 在 LiveAnalytics 方面的应用

InfluxDB 概览

InfluxDB 是一种高性能时间序列数据库，能够存储任何形式的时间序列数据，例如指标、事件、日志和追踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一种用 Go 编写的开源数据库，专注于性能、可扩展性和开发者效率。该数据库经过优化，可大规模处理时间序列数据，使其成为涉及监控性能指标、物联网数据和实时分析的用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中可用。它使用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许独立扩展计算和存储。InfluxDB 3.0 为 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）提供查询支持。

Amazon Timestream for LiveAnalytics 概览

Timestream for LiveAnalytics 是 AWS 开发的一种完全托管的、无服务器的时间序列数据库服务。Amazon Timestream for LiveAnalytics 于 2020 年推出，专为处理时间序列数据而设计，使其成为需要高摄取率、高效存储和快速查询功能的物联网、监控和分析应用程序的理想选择。作为 AWS 生态系统的一部分，Timestream for LiveAnalytics 可以轻松地与其他 AWS 服务集成，从而简化了在云中构建和部署时间序列应用程序的过程。AWS 还提供Timestream for InfluxDB，它是与 InfluxDB 2.x API 兼容的 InfluxDB 托管版本，并且与 InfluxData 合作发布。

InfluxDB 用于时间序列数据

InfluxDB 专为时间序列数据设计，非常适合用于跟踪和分析随时间变化的数据点的应用程序。它擅长于以高容量连续写入数据的场景，同时用户还需要能够快速查询摄取后的数据，以用于监控和实时分析用例。

Amazon Timestream for LiveAnalytics 用于时间序列数据

Amazon Timestream for LiveAnalytics 专为处理时间序列数据而设计，非常适合各种需要高摄取率和高效存储的应用程序。其双层存储架构（由内存存储和磁性存储组成）允许用户根据数据年龄和访问模式管理数据保留和优化存储成本。此外，Timestream 支持类 SQL 查询，并与流行的分析工具集成，使用户可以轻松地从其时间序列数据中获得见解。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示形式。列式存储可以实现更好的数据压缩和更快的分析工作负载查询。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高级别是存储桶，这与其他系统所谓的数据库类似。InfluxDB 测量值与表同义。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应使用标签来标识用于在查询期间进行过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序架构。其中的一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。为了写入数据，InfluxDB 创建了 Telegraf，这是一种可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这使得 InfluxDB 可以针对您的用例进行微调，并带来显著的成本节约。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多用于处理时间序列数据的专用函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在被自动删除之前存储多长时间。这对于管理大容量时间序列数据的存储非常有用。

Amazon Timestream for LiveAnalytics 关键概念

• 内存存储：在 Amazon Timestream for LiveAnalytics 中，内存存储是一个组件，用于在内存中存储最近的、可变的时间序列数据，以便快速查询和分析。
• 磁性存储：Amazon Timestream for LiveAnalytics 中的磁性存储负责在磁盘上存储历史的、不可变的时间序列数据，以实现经济高效的长期存储。
• 生存时间 (TTL)：Amazon Timestream for LiveAnalytics 允许用户在其时间序列数据上设置 TTL，这决定了数据在内存存储中保留多长时间后会被移动到磁性存储或删除。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时间序列数据的存储和查询性能。InfluxDB 的确切架构会因版本和您如何部署 InfluxDB 而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级的延迟写入。数据查询器几乎可以立即查询此数据，同时，压缩器在后台获取新写入的数据文件，并将它们合并为更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，方法是调度数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，从而允许廉价地存储数据，而不会增加查询延迟。

Amazon Timestream for LiveAnalytics 架构

Amazon Timestream for LiveAnalytics 构建在无服务器、分布式架构之上，该架构支持类似 SQL 的查询功能。其数据模型专为时间序列数据量身定制，使用带时间戳的记录和灵活的模式，可以适应不同的数据粒度和维度。Timestream 架构的核心组件包括内存存储和磁性存储，它们共同管理数据保留、存储和查询。内存存储经过优化，可快速查询最近的数据，而磁性存储则为历史数据提供经济高效的长期存储。