OSI PI Data Historian 与 Apache Pinot

OSI PI Data Historian 概述

OSI PI，也称为 OSIsoft PI System，是一个企业级数据管理和分析平台，专门为处理来自工业过程、传感器和其他来源的时间序列数据而设计。PI System 由 OSIsoft（于 2021 年被 AVEVA 收购）开发，自 1980 年代推出以来，已广泛应用于能源、制造、公用事业和制药等各个行业。它提供了实时收集、存储、分析和可视化大量时间序列数据的能力，使组织能够获得洞察力、优化流程并改进决策。

Apache Pinot 概述

Apache Pinot 是一个实时分布式 OLAP 数据存储，旨在以低延迟回答复杂的分析查询。它最初由 LinkedIn 开发，并于 2015 年开源。Pinot 非常适合处理大规模数据和实时分析，为大型数据集上的复杂查询提供近乎即时的响应。它被 LinkedIn、Microsoft 和 Uber 等多家大型组织使用。

OSI PI Data Historian 用于时间序列数据

OSI PI 是为存储时间序列数据而创建的，这使其成为需要管理大量传感器和过程数据的组织的理想选择。它的架构和组件经过优化，可高效且以最小延迟收集、存储和分析时间序列数据。PI System 的可扩展性和性能使其成为处理工业过程、物联网设备或其他来源生成的大量数据的组织的合适解决方案。

Apache Pinot 用于时间序列数据

Apache Pinot 由于其列式存储和实时摄取功能，是处理时间序列数据的可靠选择。Pinot 能够从 Apache Kafka 等流中摄取数据，确保时间序列数据可以在生成时进行分析，此外还提供批量摄取数据的选项。

OSI PI Data Historian 关键概念

• PI Server：PI System 的核心组件，负责数据收集、存储和管理。
• PI 接口和 PI 连接器：软件组件，用于从各种来源收集数据并将其发送到 PI Server。
• PI 资产框架：建模框架，允许用户创建资产及其关联元数据的分层结构，从而更轻松地理解和分析数据。
• PI DataLink：Microsoft Excel 的一个加载项，使用户可以直接从 Excel 访问和分析 PI System 数据。
• PI ProcessBook：可视化工具，用于创建 PI System 数据的交互式图形显示。

Apache Pinot 关键概念

• 段：段是 Pinot 中数据存储的基本单元。它是一种列式存储格式，包含表数据的子集。
• 表：Pinot 中的表是段的集合。
• 控制器：控制器管理元数据并协调数据摄取、查询执行和集群管理。
• 代理：代理负责接收查询，将其路由到适当的服务器，并将结果返回给客户端。
• 服务器：服务器存储段并处理这些段上的查询。

OSI PI Data Historian 架构

OSI PI 是一个围绕 PI Server 构建的数据管理平台，PI Server 负责数据收集、存储和管理。PI System 使用高效的专有时间序列数据库来存储数据。PI 接口和 PI 连接器从各种来源收集数据并将其发送到 PI Server。PI 资产框架 (AF) 允许用户以分层结构对资产及其关联数据进行建模，从而更轻松地理解和分析数据。各种客户端工具，例如 PI DataLink 和 PI ProcessBook，使用户能够访问和可视化存储在 PI System 中的数据。

Apache Pinot 架构

Pinot 是一个分布式列式数据存储，它使用混合数据模型，结合了 NoSQL 和 SQL 数据库的功能。其架构由三个主要组件组成：控制器、代理和服务器。控制器管理元数据和集群操作，而代理处理查询路由，服务器存储和处理数据。Pinot 的列式存储格式实现了高效的压缩和快速的查询处理。