Apache Druid 与 OSI PI Data Historian

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动型数据和交互式分析的用例。

OSI PI Data Historian 概述

OSI PI，也称为 OSIsoft PI System，是一个企业级数据管理和分析平台，专门为处理来自工业过程、传感器和其他来源的时间序列数据而设计。PI System 由 OSIsoft（于 2021 年被 AVEVA 收购）开发，自 20 世纪 80 年代推出以来，已广泛应用于能源、制造、公用事业和制药等各个行业。它能够实时收集、存储、分析和可视化大量时间序列数据，使组织能够获得洞察力、优化流程并改进决策。

Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供集成功能，用于将历史数据存储在更便宜的对象存储中，因此也可以使用 Druid 分析历史时间序列数据。

OSI PI Data Historian 用于时间序列数据

OSI PI 的创建目的就是为了存储时间序列数据，这使其成为需要管理大量传感器和过程数据的组织的理想选择。其架构和组件经过优化，可高效且以最小延迟收集、存储和分析时间序列数据。PI System 的可扩展性和性能使其成为处理工业过程、物联网设备或其他来源生成的大量数据的组织的理想解决方案。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

OSI PI Data Historian 关键概念

• PI Server：PI System 的核心组件，负责数据收集、存储和管理。
• PI 接口和 PI 连接器：从各种来源收集数据并将其发送到 PI Server 的软件组件。
• PI 资产框架：一个建模框架，允许用户创建资产及其关联元数据的分层结构，从而更轻松地理解和分析数据。
• PI DataLink：Microsoft Excel 的一个加载项，使用户能够直接从 Excel 访问和分析 PI System 数据。
• PI ProcessBook：一种可视化工具，用于创建 PI System 数据的交互式图形显示。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为大型数据集上的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常部署在配备了大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需添加更多节点即可水平扩展。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到相应的 historical 节点或 real-time 节点。有趣的是，它们是无状态的，这意味着可以对其进行横向扩展以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动 coordinator 节点，以及一个备用节点以应对故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到 middle manager 或 indexer 节点。它们的部署与 coordinator 节点类似，通常只有一个活动的 overlord 和一个备用 overlord 以实现冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManagers 启动用于数据摄取的短时任务，但 indexers 专为长时间运行的任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是一个组件，充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与常用的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

OSI PI Data Historian 架构

OSI PI 是一个数据管理平台，围绕 PI Server 构建，后者负责数据收集、存储和管理。PI System 使用高效的专有时间序列数据库来存储数据。PI 接口和 PI 连接器从各种来源收集数据并将其发送到 PI Server。PI 资产框架 (AF) 允许用户以分层结构对资产及其关联数据进行建模，从而更轻松地理解和分析数据。各种客户端工具（如 PI DataLink 和 PI ProcessBook）使用户能够访问和可视化存储在 PI System 中的数据。