Apache Pinot 与 TDengine

Apache Pinot 概览

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟响应复杂的分析查询。它最初在 LinkedIn 开发，并在 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，能够对大型数据集上的复杂查询提供近乎瞬时的响应。它被多家大型组织使用，例如 LinkedIn、Microsoft 和 Uber。

TDengine 概览

TDengine 是一个高性能、开源的时间序列数据库，旨在高效处理海量时间序列数据。它由涛思数据 (TAOS Data) 于 2017 年创建，专为物联网 (IoT)、工业物联网和 IT 基础设施监控用例而设计。TDengine 具有独特的混合架构，结合了关系数据库（支持 SQL 查询）和 NoSQL 数据库（可扩展性和灵活性）的优势，提供高性能、易于使用的 SQL 查询以及灵活的数据建模功能。

Apache Pinot 用于时间序列数据

由于其列式存储和实时摄取功能，Apache Pinot 是处理时间序列数据的可靠选择。Pinot 从 Apache Kafka 等流媒体摄取数据的能力确保了时间序列数据可以在生成时进行分析，此外还提供批量摄取数据的选项。

TDengine 用于时间序列数据

TDengine 从一开始就被设计为时间序列数据库，因此它非常适合大多数大量涉及存储和分析时间序列数据的用例。

Apache Pinot 关键概念

• 段（Segment）：段是 Pinot 中数据存储的基本单元。它是一种列式存储格式，包含表数据的子集。
• 表（Table）：Pinot 中的表是段的集合。
• 控制器（Controller）：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• 代理（Broker）：代理负责接收查询，将其路由到相应的服务器，并将结果返回给客户端。
• 服务器（Server）：服务器存储段并处理对这些段的查询。

TDengine 关键概念

• 超级表（Super Table）：用于创建具有相同模式的多个表的模板。它类似于其他一些数据库中的表继承概念。
• 子表（Sub Table）：基于超级表创建的表，继承其模式。子表可以有额外的标签，用于分类和查询。
• 标签（Tag）：用于在超级表中对子表进行分类和筛选的元数据属性。标签已索引并针对高效查询进行了优化。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，使用混合数据模型，结合了 NoSQL 和 SQL 数据库的特性。其架构由三个主要组件组成：控制器（Controller）、代理（Broker）和服务器（Server）。控制器管理元数据和集群操作，而代理处理查询路由，服务器存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。

TDengine 架构

TDengine 使用云原生架构，结合了关系数据库（支持 SQL 查询）和 NoSQL 数据库（可扩展性和灵活性）的优势。