Apache Druid 与 Prometheus

Apache Druid 概览

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据和低延迟的能力而广受欢迎。凭借结合了时间序列数据库、搜索系统和列式存储元素的独特架构，Druid 特别适用于涉及事件驱动数据和交互式分析的用例。

Prometheus 概览

Prometheus 是一个开源的监控和告警工具包，最初于 2012 年在 SoundCloud 开发。此后，它已成为被广泛采用的监控解决方案，并且是云原生计算基金会 (CNCF) 项目的一部分。Prometheus 专注于为容器化和基于微服务的环境提供实时洞察和告警。其主要用例是监控基础设施和应用程序，重点是可靠性和可扩展性。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供集成功能，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时间序列数据。

Prometheus 用于时间序列数据

Prometheus 专为时间序列数据而设计，因为它的主要重点是基于基础设施和应用程序状态的监控和告警。它使用拉取模型，其中 Prometheus 服务器以固定的时间间隔从目标系统抓取指标。此模型适用于监控动态环境，因为它允许自动发现和监控新实例。但是，Prometheus 并非旨在作为通用时间序列数据库，并且可能不是高基数或长期数据存储的最佳选择。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批处理数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

Prometheus 关键概念

• 指标：系统特定方面的数值表示，例如 CPU 使用率或内存消耗。
• 时间序列：指标的数据点集合，按时间戳索引。
• 标签：为指标提供元数据和上下文的键值对，从而实现更精细的查询和聚合。
• PromQL：Prometheus 使用其自身的查询语言 PromQL (Prometheus Query Language) 来查询时间序列数据和生成告警。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为大型数据集上的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical Nodes 是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的可扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker Nodes 充当传入查询的网关。它们的主要功能是将这些查询引导到适当的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator Nodes 具有管理角色，负责监督跨历史节点的数据分发。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，以及一个备用节点以用于故障转移场景。
• Overlord Nodes 指示摄取任务的分配，将它们定向到中间管理器或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动的 overlord 和一个用于冗余的备份。
• MiddleManager 和 Indexer Nodes 是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短期任务，但索引器专为长期任务而设计。鉴于其密集的操作，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许基于数据摄取量进行水平扩展。
• Deep Storage 是一个组件，充当 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 为此目的与流行的数据库兼容，包括 MySQL、PostgreSQL 和 Derby。

Prometheus 架构

Prometheus 是一个单服务器、独立的监控系统，它使用拉取方法从目标系统收集指标。它以自定义、高度压缩的磁盘格式存储时间序列数据，针对快速查询和低资源使用率进行了优化。Prometheus 的架构是模块化和可扩展的，具有导出器、服务发现机制以及与其他监控系统的集成等组件。作为一个非分布式系统，它缺乏内置的集群或水平可扩展性，但它支持联邦，允许多个 Prometheus 服务器共享和聚合数据。