ClickHouse 与 OSI PI Data Historian

ClickHouse 概览

ClickHouse 是一个开源列式数据库管理系统，专为高性能在线分析处理 (OLAP) 任务而设计。它由俄罗斯领先的科技公司 Yandex 开发。ClickHouse 以其能够实时处理大量数据而闻名，可提供快速的查询性能和实时分析。其列式存储架构实现了高效的数据压缩和更快的查询执行，使其适用于大规模数据分析和商业智能应用。

OSI PI Data Historian 概览

OSI PI，也称为 OSIsoft PI System，是一个企业级数据管理和分析平台，专门设计用于处理来自工业过程、传感器和其他来源的时间序列数据。PI System 由 OSIsoft（2021 年被 AVEVA 收购）开发，自 20 世纪 80 年代推出以来，已广泛应用于能源、制造、公用事业和制药等各个行业。它能够实时采集、存储、分析和可视化大量时间序列数据，使组织能够获得洞察力、优化流程并改进决策。

ClickHouse 用于时间序列数据

ClickHouse 可以有效地用于存储和分析时间序列数据，尽管它没有明确针对时间序列数据进行优化。虽然 ClickHouse 一旦摄取时间序列数据后可以非常快速地查询，但它在需要以较小批量摄取数据以便实时分析的极高写入场景中往往会遇到困难。

OSI PI Data Historian 用于时间序列数据

OSI PI 专为存储时间序列数据而创建，使其成为需要管理大量传感器和过程数据的组织的理想选择。它的架构和组件经过优化，可以高效且低延迟地采集、存储和分析时间序列数据。PI 系统的可扩展性和性能使其成为处理工业过程、物联网设备或其他来源生成的大量数据的组织的合适解决方案。

ClickHouse 关键概念

• 列式存储：ClickHouse 以列式格式存储数据，这意味着每列的数据都单独存储。这实现了高效的压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。
• 分布式处理：ClickHouse 支持分布式处理，允许跨集群中的多个节点执行查询，从而提高查询性能和可扩展性。
• 数据复制：ClickHouse 提供数据复制，确保在发生硬件故障或节点中断时的数据可用性和容错能力。
• 物化视图：ClickHouse 支持物化视图，它是预先计算的查询结果，以表的形式存储。物化视图可以显着提高查询性能，因为它们允许通过避免为每个查询重新计算结果来更快地检索数据。

OSI PI Data Historian 关键概念

• PI Server：PI 系统的核心组件，负责数据采集、存储和管理。
• PI 接口和 PI 连接器：从各种来源采集数据并将其发送到 PI Server 的软件组件。
• PI Asset Framework：一个建模框架，允许用户创建资产及其关联元数据的分层结构，从而更容易理解和分析数据。
• PI DataLink：Microsoft Excel 的一个加载项，使用户能够直接从 Excel 访问和分析 PI System 数据。
• PI ProcessBook：一种可视化工具，用于创建 PI System 数据的交互式图形显示。

ClickHouse 架构

ClickHouse 的架构旨在支持对大型数据集进行高性能分析。ClickHouse 以列式格式存储数据。这实现了高效的数据压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。ClickHouse 还支持分布式处理，这允许跨集群中的多个节点执行查询。ClickHouse 使用 MergeTree 存储引擎作为其主要表引擎。MergeTree 专为高性能 OLAP 任务而设计，并支持数据复制、数据分区和索引。

OSI PI Data Historian 架构

OSI PI 是一个围绕 PI Server 构建的数据管理平台，后者负责数据采集、存储和管理。PI 系统使用高效的专有时间序列数据库来存储数据。PI 接口和 PI 连接器从各种来源采集数据并将其发送到 PI Server。PI Asset Framework (AF) 允许用户以分层结构对资产及其关联数据进行建模，从而更容易理解和分析数据。各种客户端工具，如 PI DataLink 和 PI ProcessBook，使用户能够访问和可视化存储在 PI 系统中的数据。