Apache Druid 与 RRDtool

Apache Druid 概览

Apache Druid 是一款开源实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 采用独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动数据和交互式分析的用例。

RRDtool 概览

RRDtool，即 Round-Robin Database Tool（轮询数据库工具）的缩写，是一款开源高性能数据日志记录和图形系统，旨在处理时间序列数据。RRDtool 由 Tobias Oetiker 于 1999 年创建，专门用于存储和可视化时间序列数据，例如网络带宽、温度或 CPU 负载。它的主要特点是高效存储数据点，使用固定大小的数据库，自动聚合和归档较旧的数据点，确保数据库大小随时间推移保持恒定。

Apache Druid 在时间序列数据方面的应用

Apache Druid 专为实时分析而设计，非常适合处理需要写入后快速分析的时间序列数据。Druid 还提供集成，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时间序列数据。

RRDtool 在时间序列数据方面的应用

RRDtool 的创建目的是为了时间序列数据的存储和可视化，使其非常适合需要高效处理此类数据的应用程序。其轮询数据库结构确保了恒定的存储空间使用，同时提供自动数据聚合和归档。但是，RRDtool 可能不适用于需要复杂查询或关系数据存储的应用程序，因为它的重点主要在于时间序列数据。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、已分区的和已压缩的。
• 数据汇总：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每种节点都有特定的职责。
• 索引服务：Druid 的索引服务管理着摄取数据、创建段以及将段发布到深度存储的过程。

RRDtool 关键概念

• 轮询数据库：一种固定大小的数据库，使用循环缓冲区存储时间序列数据，并在添加新数据时覆盖旧数据。
• RRD 文件：包含 RRDtool 数据库的所有配置和数据的单个文件。
• 合并函数：将多个数据点聚合为单个数据点的函数，例如 AVERAGE、MIN、MAX 或 LAST。

Apache Druid 架构

Apache Druid 是一款功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是驱动 Apache Druid 的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是将存储的数据提供给查询。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需添加更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的 historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，并有一个备用节点处于待机状态以进行故障转移。
• Overlord 节点决定摄取任务的分配，将它们定向到 middle manager 或 indexer 节点。它们的部署与 coordinator 节点类似，通常有一个活动的 overlord 和一个备用 overlord 用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短时任务，但 indexer 专为长时任务而设计。鉴于其密集型操作，这些节点需要高 CPU 和内存资源。它们的可扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是一个组件，充当 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容以实现此目的，包括 MySQL、PostgreSQL 和 Derby。

RRDtool 架构

RRDtool 是一款专门的时间序列数据库，不使用 SQL 或传统的关系数据模型。相反，它采用轮询数据库结构，数据点存储在固定大小的循环缓冲区中。RRDtool 是一款命令行工具，可用于创建和更新 RRD 文件，以及从存储的数据生成图表和报告。它可以通过可用的绑定与各种脚本语言（例如 Perl、Python 和 Ruby）集成。