Apache Druid 与 SQL Server

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后来于 2018 年捐赠给 Apache 软件基金会，因其能够处理大量数据且具有低延迟而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适用于涉及事件驱动数据和交互式分析的用例。

SQL Server 概述

Microsoft SQL Server 是一个强大且广泛使用的关系数据库管理系统，由 Microsoft 开发。它最初于 1989 年发布，多年来不断发展，成为各种规模企业最流行的数据库系统之一。SQL Server 以其强大的性能、安全性以及易用性而闻名。它支持多种平台，包括 Windows、Linux 和容器，为不同的部署场景提供了灵活性。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供集成功能，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时序数据。

SQL Server 用于时序数据

虽然 Microsoft SQL Server 主要是一个关系数据库，但它确实通过各种功能和优化提供对时序数据的支持。时态表允许跟踪数据随时间的变化，从而提供了一种存储和查询历史数据的有效方式。可以利用索引和分区来优化时序数据存储和检索。但是，对于需要专门针对时序数据的高写入或查询吞吐量的应用程序，SQL Server 可能不是最佳选择，因为专门的时序数据库提供了更优化的解决方案以及各种开发人员生产力功能，这些功能可以加快大量使用时序数据的应用程序的开发时间。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段并将它们发布到深度存储的过程。

SQL Server 关键概念

• T-SQL：Transact-SQL，SQL 的扩展，它将过程式编程元素（如循环、条件语句和错误处理）添加到标准 SQL 语言中。
• SSMS：SQL Server Management Studio，一个用于管理 SQL Server 实例、数据库和对象的集成环境。
• Always On：SQL Server 中一组高可用性和灾难恢复功能，包括 Always On Availability Groups 和 Always On Failover Cluster Instances。

Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储，专为大型数据集的实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供动力的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据服务。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的可扩展性是显而易见的，因为只需合并更多节点即可水平扩展它们。
• Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到适当的 Historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 Historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 Coordinator 节点，以及一个备用节点，用于故障转移场景。
• Overlord 节点指示摄取任务的分配，将它们定向到 middle manager 或 indexer 节点。它们的部署与 Coordinator 节点类似，通常有一个活动的 overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManager 启动用于数据摄取的短生命周期任务，但 indexer 专为长生命周期任务而设计。鉴于其密集的运算，这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的，允许根据数据摄取量进行水平扩展。
• Deep Storage 是作为 Druid 持久存储单元的组件。Druid 与各种 Blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

SQL Server 架构

Microsoft SQL Server 是一个关系数据库，它使用 SQL 进行查询和操作数据。它遵循客户端-服务器架构，数据库服务器托管数据并处理来自客户端的请求。SQL Server 通过 Azure SQL Database（Microsoft Azure 云中的托管服务产品）支持本地和基于云的部署。SQL Server 的架构包括数据库引擎等组件，该引擎处理数据存储和检索，以及用于报告、集成和分析的各种服务。