InfluxDB 与 DuckDB

InfluxDB 概述

InfluxDB 是一个高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为涉及监控性能指标、物联网数据和实时分析的用例的常用选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。它使用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

DuckDB 概述

DuckDB 是一个进程内 SQL OLAP（在线分析处理）数据库管理系统。它旨在简单、快速且功能丰富。DuckDB 可用于处理和分析表格数据集，例如 CSV 或 Parquet 文件。它提供了丰富的 SQL 方言，支持事务、持久性、广泛的 SQL 查询以及直接查询 Parquet 和 CSV 文件。DuckDB 使用向量化引擎构建，该引擎针对分析进行了优化，并支持并行查询处理。它旨在易于安装和使用，没有外部依赖项，并支持多种编程语言。

InfluxDB 用于时序数据

InfluxDB 专为时序数据而设计，使其非常适合涉及随时间推移跟踪和分析数据点的应用程序。它在以下场景中表现出色：数据以高容量连续写入，同时用户还需要能够在摄取后快速查询该数据，以用于监控和实时分析用例。

DuckDB 用于时序数据

DuckDB 可以有效地用于时序数据。它支持处理和分析表格数据集，其中可以包括存储在 CSV 或 Parquet 文件中的时序数据。凭借其优化的分析引擎和对复杂 SQL 查询的支持，DuckDB 可以高效地执行聚合、连接和其他时序分析操作。但是，重要的是要注意，DuckDB 不是专门为时序数据管理而设计的，并且可能没有像某些专用时序数据库那样针对时序分析量身定制的专门功能。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示形式。列式存储可以实现更好的数据压缩，并加快分析工作负载的查询速度。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高层是存储桶，这类似于其他系统所称的数据库。InfluxDB 测量值与表同义。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应在查询期间用于标识用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改架构。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序架构。其中一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。对于写入数据，InfluxDB 创建了 Telegraf，这是一种可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也适用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这使得 InfluxDB 可以针对您的用例进行微调，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时序数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在自动删除之前存储多长时间。这对于管理大量时序数据的存储非常有用。

DuckDB 关键概念

• 进程内：DuckDB 在进程内运行，这意味着它在与使用它的应用程序相同的进程中运行，而无需单独的服务器。
• OLAP：DuckDB 是一个 OLAP 数据库，这意味着它针对分析查询处理进行了优化。
• 向量化引擎：DuckDB 使用向量化引擎，该引擎对批量数据进行操作，从而提高查询性能。
• 事务：DuckDB 支持事务操作，确保数据操作的原子性、一致性、隔离性和持久性 (ACID) 属性。
• SQL 方言：DuckDB 提供了丰富的 SQL 方言，具有高级功能，例如任意和嵌套的相关子查询、窗口函数、排序规则以及对数组和结构等复杂类型的支持

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本和您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询此数据，同时后台压缩器会将新写入的数据文件合并为更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是将摄取和查询组件分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，从而可以在不增加查询延迟的情况下廉价地存储数据。

DuckDB 架构

DuckDB 遵循进程内架构，在与应用程序相同的进程中运行。它是一个关系型、面向表的数据库管理系统，支持 SQL 查询以生成分析结果。DuckDB 使用 C++11 构建，旨在没有外部依赖项。它可以编译为单个文件，从而易于安装和集成到应用程序中。