Apache Druid 与 OpenTSDB

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动数据和交互式分析的用例。

OpenTSDB 概述

OpenTSDB (开源时间序列数据库) 是一个开源、分布式且可扩展的时间序列数据库，构建在 Apache HBase (一个 NoSQL 数据库) 之上。OpenTSDB 旨在解决日益增长的需求，即存储和处理由各种来源 (如 IoT 设备、传感器和监控系统) 生成的大量时间序列数据。它最初由 StumbleUpon 于 2010 年开发，后来成为一个拥有活跃贡献者社区的独立项目。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，以便也可以使用 Druid 分析历史时间序列数据。

OpenTSDB 用于时间序列数据

OpenTSDB 专为时间序列数据存储和分析而设计，使其成为管理大规模时间序列数据集的理想选择。其架构实现了高写入和查询性能，并且可以以最少的资源消耗处理每秒数百万个数据点。OpenTSDB 灵活的查询功能允许用户有效地对时间序列数据执行复杂分析。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源 (例如流式或批量数据源) 导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

OpenTSDB 关键概念

• 数据点：时间中的单个测量值，包括时间戳、指标、值和关联标签。
• 指标：一个命名值，表示系统的特定方面，例如 CPU 使用率或温度。
• 标签：与数据点关联的键值对，提供元数据并帮助分类和查询数据。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的守门人。它们的主要功能是将这些查询引导到适当的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督历史节点之间的数据分发。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动协调器节点，以及一个备用节点，用于故障转移场景。
• Overlord 节点决定摄取任务的分配，将它们定向到中间管理器或索引器节点。它们的部署与协调器节点的部署相似，通常有一个活动的 overlord 和一个用于冗余的备份。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManagers 启动用于数据摄取的短时任务，但索引器专为长时间运行的任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• 深度存储是一个组件，充当 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案 (如 HDFS、S3 和 Google Cloud Storage) 集成。
• 元数据存储库是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

OpenTSDB 架构

OpenTSDB 构建在 Apache HBase (一个分布式且可扩展的 NoSQL 数据库) 之上，并依赖于其架构进行数据存储和管理。OpenTSDB 将时间序列数据存储在 HBase 表中，数据点按指标、时间戳和标签组织。该数据库使用无模式数据模型，这在添加新指标和标签时允许灵活性。OpenTSDB 架构还支持通过在多个 HBase 节点之间分发数据来实现水平扩展。