Apache Pinot 与 Prometheus

Apache Pinot 概述

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟响应复杂的分析查询。它最初在 LinkedIn 开发，后来于 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，为大型数据集上的复杂查询提供近乎瞬时的响应。它被多家大型组织使用，例如 LinkedIn、Microsoft 和 Uber。

Prometheus 概述

Prometheus 是一个开源监控和警报工具包，最初于 2012 年在 SoundCloud 开发。此后，它已成为广泛采用的监控解决方案，并且是云原生计算基金会 (CNCF) 项目的一部分。Prometheus 专注于为容器化和基于微服务的环境提供实时洞察和警报。其主要用例是监控基础设施和应用程序，重点是可靠性和可扩展性。

Apache Pinot 用于时序数据

Apache Pinot 由于其列式存储和实时摄取功能，是处理时序数据的可靠选择。Pinot 从 Apache Kafka 等流式传输数据的功能确保了时序数据可以在生成时进行分析，此外还具有批量摄取数据的选项。

Prometheus 用于时序数据

Prometheus 专为时序数据而设计，因为其主要重点是基于基础设施和应用程序状态的监控和警报。它使用拉取模型，其中 Prometheus 服务器定期从目标系统抓取指标。此模型适用于监控动态环境，因为它允许自动发现和监控新实例。但是，Prometheus 并非旨在作为通用时序数据库，并且可能不是高基数或长期数据存储的最佳选择。

Apache Pinot 关键概念

• 段 (Segment)：段是 Pinot 中数据存储的基本单元。它是一种列式存储格式，包含表数据的子集。
• 表 (Table)：Pinot 中的表是段的集合。
• 控制器 (Controller)：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• 代理 (Broker)：代理负责接收查询，将查询路由到相应的服务器，并将结果返回给客户端。
• 服务器 (Server)：服务器存储段并处理这些段上的查询。

Prometheus 关键概念

• 指标 (Metric)：系统特定方面的数值表示，例如 CPU 使用率或内存消耗。
• 时序 (Time Series)：指标的数据点集合，按时间戳索引。
• 标签 (Label)：键值对，为指标提供元数据和上下文，从而实现更精细的查询和聚合。
• PromQL：Prometheus 使用其自己的查询语言 PromQL（Prometheus 查询语言）来查询时序数据和生成警报。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，它使用混合数据模型，结合了 NoSQL 和 SQL 数据库的功能。其架构由三个主要组件组成：控制器 (Controller)、代理 (Broker) 和服务器 (Server)。控制器 (Controller) 管理元数据和集群操作，而代理 (Broker) 处理查询路由，服务器 (Server) 存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。

Prometheus 架构

Prometheus 是一个单服务器、独立的监控系统，它使用拉取方法从目标系统收集指标。它以自定义、高度压缩的磁盘格式存储时序数据，针对快速查询和低资源使用率进行了优化。Prometheus 的架构是模块化和可扩展的，具有诸如导出器、服务发现机制以及与其他监控系统的集成之类的组件。作为一个非分布式系统，它缺乏内置的集群或水平可扩展性，但它支持联邦，允许多个 Prometheus 服务器共享和聚合数据。