M3 与 OSI PI Data Historian

M3 概览

M3 是一个完全用 Go 编写的分布式时序数据库。它旨在收集大量的监控时序数据，以水平可扩展的方式分配存储，并有效地利用硬件资源。M3 最初由 Uber 开发，作为 Prometheus 和 Graphite 的可扩展远程存储后端，后来开源以供更广泛的使用。

OSI PI Data Historian 概览

OSI PI，也称为 OSIsoft PI System，是一个企业级数据管理和分析平台，专门为处理来自工业过程、传感器和其他来源的时序数据而设计。PI System 由 OSIsoft 开发（于 2021 年被 AVEVA 收购），自 1980 年代推出以来，已广泛应用于能源、制造、公用事业和制药等各个行业。它提供实时收集、存储、分析和可视化大量时序数据的能力，使组织能够获得洞察力、优化流程并改进决策。

M3 用于时序数据

M3 专门为时序数据而设计。它是一个分布式且可扩展的时序数据库，针对处理大量高分辨率数据点进行了优化，使其成为存储、查询和分析时序数据的理想解决方案。

M3 的架构侧重于提供快速高效的查询功能以及高摄取率，这对于处理时序数据至关重要。其水平可扩展性和高可用性确保它可以处理大规模部署的需求，并在数据量增长时保持性能。

OSI PI Data Historian 用于时序数据

OSI PI 是为存储时序数据而创建的，使其成为需要管理大量传感器和过程数据的组织的理想选择。其架构和组件经过优化，可高效且低延迟地收集、存储和分析时序数据。PI System 的可扩展性和性能使其成为处理工业过程、物联网设备或其他来源生成的大量数据的组织的合适解决方案。

M3 关键概念

• 时序压缩：M3 具有压缩时序数据的能力，从而显著节省内存和磁盘空间。它使用两种压缩算法，M3TSZ 和 protobuf 编码，以实现高效的数据压缩。
• 分片：M3 使用分配给物理节点的虚拟分片。时序键被哈希到一组固定的虚拟分片，使水平扩展和节点管理无缝衔接。
• 一致性级别：M3 为读取和写入操作以及集群连接操作提供可变的一致性级别。写入一致性级别包括 One（单个节点成功）、Majority（大多数节点成功）和 All（所有节点成功）。读取一致性级别为 One，对应于从单个节点读取

OSI PI Data Historian 关键概念

• PI Server：PI System 的核心组件，负责数据收集、存储和管理。
• PI Interfaces 和 PI Connectors：从各种来源收集数据并将其发送到 PI Server 的软件组件。
• PI Asset Framework：一个建模框架，允许用户创建资产及其关联元数据的分层结构，从而更轻松地理解和分析数据。
• PI DataLink：Microsoft Excel 的一个加载项，使用户可以直接从 Excel 访问和分析 PI System 数据。
• PI ProcessBook：一个可视化工具，用于创建 PI System 数据的交互式图形显示。

M3 架构

M3 旨在实现水平可扩展并处理高数据吞吐量。它使用 fileset 文件作为长期存储的主要单元，存储压缩的时序值流。在块时间窗口变得不可访问后，这些文件将被刷新到磁盘。M3 有一个提交日志，相当于其他数据库中的提交日志或预写日志，这确保了数据完整性。客户端对等流负责从对等方获取块以进行引导。M3 还实施缓存策略，通过确定哪些刷新块保留在内存中来优化高效读取。

OSI PI Data Historian 架构

OSI PI 是一个围绕 PI Server 构建的数据管理平台，PI Server 负责数据收集、存储和管理。PI System 使用高效的专有时序数据库来存储数据。PI Interfaces 和 PI Connectors 从各种来源收集数据并将其发送到 PI Server。PI Asset Framework (AF) 允许用户以分层结构对他们的资产及其关联数据进行建模，从而更轻松地理解和分析数据。各种客户端工具，如 PI DataLink 和 PI ProcessBook，使用户能够访问和可视化存储在 PI System 中的数据。