InfluxDB 与 Apache Druid

InfluxDB 概述

InfluxDB 是一种高性能时序数据库，能够存储任何形式的时序数据，例如指标、事件、日志和追踪。InfluxDB 由 InfluxData 开发，于 2013 年首次发布。InfluxDB 是一种用 Go 编写的开源数据库，专注于性能、可扩展性和开发者生产力。该数据库针对大规模处理时序数据进行了优化，使其成为涉及监控性能指标、物联网数据和实时分析的用例的热门选择。

InfluxDB 3.0 是 InfluxDB 的最新版本，目前在 InfluxDB Cloud Serverless 和 InfluxDB Cloud Dedicated 中提供。它使用 Rust 构建，Rust 是一种为性能、安全性和内存管理而设计的现代编程语言。InfluxDB 还具有解耦架构，允许独立扩展计算和存储。InfluxDB 3.0 提供对 SQL 和 InfluxQL（自定义类 SQL 查询语言，增加了对基于时间的函数的支持）的查询支持。

Apache Druid 概述

Apache Druid 是一种开源实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的能力而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合涉及事件驱动数据和交互式分析的用例。

InfluxDB 用于时序数据

InfluxDB 专为时序数据而设计，使其非常适合涉及跟踪和分析随时间推移的数据点的应用程序。它在以高容量连续写入数据，同时用户还需要在摄取后快速查询数据以用于 监控和实时分析 用例的场景中表现出色。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还为在更便宜的对象存储中存储历史数据提供了集成，因此也可以使用 Druid 分析历史时序数据。

InfluxDB 关键概念

• 列式存储：InfluxDB 以面向列的格式存储数据，使用 Parquet 进行持久文件存储，并使用 Apache Arrow 作为数据的内存表示。列式存储可实现更好的数据压缩和更快的分析工作负载查询。
• 数据模型：InfluxDB 数据模型对于任何使用过其他数据库系统的人来说都很熟悉。在最高级别是存储桶，这类似于其他系统所谓的数据库。InfluxDB 测量值与表同义。测量的特定数据点包含标签和值。标签用作查询数据的主键的一部分，应用于标识在查询期间用于过滤的信息。InfluxDB 是无模式的，因此可以添加新字段，而无需迁移或修改模式。
• 集成：InfluxDB 的构建旨在灵活且适合您应用程序的架构。这方面的一个关键是 InfluxDB 使读取和写入数据变得容易的多种方式。首先，所有数据库功能都可以通过 HTTP API 或 InfluxDB CLI 访问。为了写入数据，InfluxDB 创建了 Telegraf，这是一种可以通过插件从数百个不同来源收集数据并将数据写入 InfluxDB 的工具。客户端库也可用于最流行的编程语言，以允许写入和查询数据。
• 解耦架构：InfluxDB 3.0 具有解耦架构，允许独立扩展查询计算、数据摄取和存储。这使得 InfluxDB 可以针对您的用例进行微调，并显着节省成本。
• 查询语言：可以使用标准 SQL 或 InfluxQL（一种 SQL 方言，具有许多专门用于处理时序数据的函数）查询 InfluxDB。
• 保留策略：InfluxDB 允许您定义保留策略，该策略确定数据在自动删除之前存储多长时间。这对于管理大量时序数据的存储非常有用。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括历史节点、Broker 节点、协调器节点和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将段发布到深度存储的过程。

InfluxDB 架构

从高层次来看，InfluxDB 的架构旨在优化时序数据的存储和查询性能。InfluxDB 的确切架构会因版本以及您部署 InfluxDB 的方式而略有不同。

InfluxDB 3.0 的架构可以分解为四个关键组件，这些组件几乎彼此独立运行，从而使 InfluxDB 在配置方面非常灵活。这些组件是数据摄取、数据查询、数据压缩和垃圾回收。数据通过摄取器以毫秒级延迟写入。数据查询器几乎可以立即查询此数据，同时压缩器在后台获取新写入的数据文件，并将它们合并为将发送到对象存储的更大的文件。垃圾回收器负责数据保留和空间回收，通过调度数据的软删除和硬删除。

InfluxDB 架构的关键部分是摄取和查询组件的分离，这允许根据当前的写入和查询工作负载独立扩展每个组件。查询器能够无缝地从摄取器以及对象存储中提取最近写入的数据，这使得数据可以廉价地存储，而不会增加查询延迟。

Apache Druid 架构

Apache Druid 是一种强大的分布式数据存储，专为大型数据集上的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• 历史节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到适当的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• 协调器节点具有管理角色，负责监督数据在历史节点之间的分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动协调器节点，并有一个备用节点用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到中间管理器或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动 overlord 和一个备份用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短生命周期任务，但索引器专为长生命周期任务而设计。鉴于其密集型操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• 深度存储是一个组件，用作 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• 元数据存储是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，例如 MySQL、PostgreSQL 和 Derby。