InfluxDB 与 Azure Data Explorer

InfluxDB 概述

InfluxDB 是一个高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和追踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一个用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为监控性能指标、物联网数据和实时分析等用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中可用。它用 Rust 构建，Rust 是一种现代编程语言，专为性能、安全性和内存管理而设计。InfluxDB 还具有解耦架构，允许计算和存储独立扩展。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

Azure Data Explorer 概述

Azure Data Explorer 是一个基于云、完全托管的大数据分析平台，作为 Microsoft Azure 平台的一部分提供。它由 Microsoft 于 2018 年宣布，并作为 PaaS 产品提供。Azure Data Explorer 为摄取和查询遥测数据、日志和时序数据提供了高性能功能。

InfluxDB 用于时序数据

InfluxDB 专为时序数据设计，非常适合涉及随时间推移跟踪和分析数据点的应用程序。它擅长数据以高容量持续写入的场景，同时用户还需要能够在摄取后快速查询数据以用于 监控和实时分析 用例。

Azure Data Explorer 用于时序数据

Azure Data Explorer 非常适合处理时序数据。其高性能功能和摄取大量数据的能力使其适用于近乎实时地分析和查询时序数据。凭借其高级查询运算符，例如计算列、在行上搜索和筛选、按聚合分组和联接，Azure Data Explorer 能够有效地分析时序数据。其可扩展的架构和分布式特性确保它可以有效地处理时序数据的速度和容量要求。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可以实现更好的数据压缩和更快的分析工作负载查询。
• 数据模型：任何使用过其他数据库系统的人都会熟悉 InfluxDB 数据模型。在最高级别是存储桶，它类似于其他系统称为数据库的东西。InfluxDB 测量值与表同义。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应用于识别查询期间用于筛选的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您的应用程序的架构。其中的一个关键方面是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，可以通过 HTTP API 或使用 InfluxDB CLI 访问所有数据库功能。对于写入数据，InfluxDB 创建了 Telegraf，这是一种工具，可以通过插件从数百个不同的来源收集数据并将数据写入 InfluxDB。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许查询计算、数据摄取和存储独立扩展。这允许针对您的用例微调 InfluxDB，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时序数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，以确定数据在自动删除之前存储多长时间。这对于管理大量时序数据的存储非常有用。

Azure Data Explorer 关键概念

• 关系数据模型：Azure Data Explorer 是一个基于关系数据库管理系统的分布式数据库。它支持数据库、表、函数和列等实体。与传统的 RDBMS 不同，Azure Data Explorer 不强制执行诸如键唯一性、主键或外键之类的约束。相反，必要的关联是在查询时建立的。
• Kusto 查询语言 (KQL)：Azure Data Explorer 使用 KQL，一种功能强大且富有表现力的查询语言，使用户能够轻松探索和分析其数据。
• 区段：在 Azure Data Explorer 中，数据被组织成称为区段的单元，这些区段是不可变的、压缩的记录集，可以有效地存储和查询。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本和您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询这些数据，同时压缩器在后台获取新写入的数据文件，并将它们合并为将发送到对象存储的更大的文件。垃圾回收器负责数据保留和空间回收，方法是安排数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这允许每个组件根据当前的写入和查询工作负载独立扩展。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得数据可以廉价地存储，而不会增加查询延迟。

Azure Data Explorer 架构

Azure Data Explorer 构建在云原生分布式架构之上，该架构同时支持 NoSQL 和类 SQL 查询功能。它是一个基于列式存储的数据库，利用压缩的、不可变的数据区段来实现高效的存储和检索。Azure Data Explorer 架构的核心组件包括控制平面、数据管理和查询处理。控制平面负责管理资源和元数据，而数据管理组件处理数据摄取和组织。查询处理负责执行查询并将结果返回给用户。