InfluxDB 与 Apache Doris

InfluxDB 概览

InfluxDB 是一个高性能时间序列数据库，能够存储任何形式的时间序列数据，如指标、事件、日志和跟踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一个用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时间序列数据进行了优化，使其成为涉及监控性能指标、物联网数据和实时分析的用例的常用选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。它用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

Apache Doris 概览

Apache Doris 是一个基于 MPP 的交互式 SQL 数据仓库系统，专为报告和分析而设计。它以其高性能、实时分析能力和易用性而闻名。Apache Doris 集成了 Google Mesa 和 Apache Impala 的技术。与其他基于 Hadoop 的 SQL 系统不同，Doris 被设计成一个简单且紧密集成的系统，不依赖于外部依赖项。它旨在为数据仓库和分析提供精简高效的解决方案。

InfluxDB 用于时间序列数据

InfluxDB 专为时间序列数据而设计，使其非常适合涉及跟踪和分析随时间推移的数据点的应用程序。它在数据以高容量连续写入，而用户还需要在摄取后快速查询数据以用于监控和实时分析用例的场景中表现出色。

Apache Doris 用于时间序列数据

Apache Doris 可以有效地用于时间序列数据，以进行实时分析和报告。凭借其高性能和亚秒级响应时间，Doris 可以处理海量的时间戳数据并提供及时的查询结果。它支持高并发点查询场景和高吞吐量复杂分析场景，使其适用于分析各种复杂程度的时间序列数据。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示形式。列式存储可实现更好的数据压缩和更快的分析工作负载查询。
• 数据模型：对于任何使用过其他数据库系统的人来说，InfluxDB 数据模型都会很熟悉。在最高层是存储桶，它类似于其他系统所称的数据库。InfluxDB 测量等同于表。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应在查询期间用于标识用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您应用程序的架构。其中一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。为了写入数据，InfluxDB 创建了 Telegraf，这是一个可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也适用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这允许针对您的用例微调 InfluxDB，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时间序列数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在自动删除之前存储多长时间。这对于管理高容量时间序列数据的存储非常有用。

Apache Doris 关键概念

• MPP（大规模并行处理）：Apache Doris 利用 MPP 架构，该架构允许它在多个节点之间分配数据处理，从而实现并行执行和可扩展性。
• SQL：Apache Doris 支持 SQL 作为查询语言，为数据分析和报告提供了一个熟悉而强大的界面。
• 点查询：点查询是指从数据库中检索特定数据点或少量数据子集。
• 复杂分析：Apache Doris 可以处理涉及处理大量数据并执行高级计算和聚合的复杂分析场景。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时间序列数据的存储和查询性能。InfluxDB 的确切架构会因版本和您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询此数据，同时，压缩器在后台获取新写入的数据文件，并将它们合并为更大的文件，这些文件将发送到对象存储。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这使得每个组件都可以根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，从而允许廉价地存储数据，而不会增加查询延迟。

Apache Doris 架构

Apache Doris 基于 MPP 架构，这使其能够跨多个节点分配数据和处理以实现并行执行。它是一个独立的系统，不依赖于其他系统或框架。Apache Doris 结合了 Google Mesa 和 Apache Impala 的技术，为数据仓库和分析提供了一个简单且紧密集成的系统。它利用 SQL 作为查询语言，并支持高效的数据处理和查询优化技术，以确保高性能和可扩展性。