InfluxDB 与 DataBend

InfluxDB 概述

InfluxDB 是高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为监控性能指标、物联网数据和实时分析等用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。它使用 Rust 构建，Rust 是一种现代编程语言，专为性能、安全性和内存管理而设计。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

DataBend 概述

DataBend 是一个开源、云原生数据处理和分析平台，旨在为大数据工作负载提供高性能、经济高效且可扩展的解决方案。该项目由开发者、研究人员和行业专业人士社区驱动，旨在创建一个统一的数据处理平台，将批处理和流处理能力与高级分析功能相结合。DataBend 的灵活架构允许用户构建广泛的应用，从实时分析到大规模数据仓库。

InfluxDB 用于时序数据

InfluxDB 专为时序数据设计，非常适合涉及随时间推移跟踪和分析数据点的应用。它在以下场景中表现出色：数据以高容量持续写入，同时用户还需要能够在摄取后快速查询该数据，以用于监控和实时分析用例。

DataBend 用于时序数据

DataBend 的架构和处理能力使其成为处理时序数据的合适选择。它对批处理和流数据处理的支持允许用户大规模摄取、存储和分析时序数据。此外，DataBend 与 Apache Arrow 的集成及其强大的查询执行框架实现了对时序数据的高效查询和分析，使其成为需要实时洞察和分析的应用的通用选择。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示形式。列式存储可以更好地压缩数据，并加快分析工作负载的查询速度。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高级别是存储桶，这与其他系统称为数据库的概念类似。InfluxDB 度量等同于表。度量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应用于标识查询期间用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序架构。其中一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。对于写入数据，InfluxDB 创建了 Telegraf，这是一种工具，可以通过插件从数百个不同的来源收集数据，并将这些数据写入 InfluxDB。客户端库也适用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这允许 InfluxDB 针对您的用例进行微调，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时序数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，该策略确定数据在自动删除之前存储多长时间。这对于管理大量时序数据的存储非常有用。

DataBend 关键概念

• DataFusion：DataFusion 是 DataBend 的核心组件，提供了一个可扩展的查询执行框架，该框架支持 SQL 和基于 DataFrame 的查询 API。
• Ballista：Ballista 是 DataBend 中的分布式计算平台，构建于 DataFusion 之上，允许高效且可扩展地执行大规模数据处理任务。
• Arrow：DataBend 利用 Apache Arrow（一种内存中列式数据格式）来实现组件之间的高效数据交换并优化查询性能。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本和部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，这使得 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询此数据，同时，压缩器在后台获取新写入的数据文件，并将它们组合成更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，通过计划数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这允许每个组件根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得数据可以廉价地存储，而不会增加查询延迟。

DataBend 架构

DataBend 构建于云原生分布式架构之上，该架构支持 NoSQL 和类 SQL 查询功能。它的模块化设计允许用户根据其特定用例和需求选择和组合组件。DataBend 架构的核心组件包括 DataFusion、Ballista 和存储层。DataFusion 负责查询执行和优化，而 Ballista 支持分布式计算，用于大规模数据处理任务。DataBend 中的存储层可以配置为与各种存储后端一起使用，例如对象存储或分布式文件系统。