ClickHouse 与 Apache Druid

ClickHouse 概述

ClickHouse 是一个开源的列式数据库管理系统，专为高性能在线分析处理 (OLAP) 任务而设计。它由俄罗斯领先的科技公司 Yandex 开发。ClickHouse 以其实时处理大量数据的能力而闻名，可提供快速的查询性能和实时分析。其列式存储架构实现了高效的数据压缩和更快的查询执行，使其适用于大规模数据分析和商业智能应用程序。

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，后于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据且延迟低的能力而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动型数据和交互式分析的使用案例。

ClickHouse 用于时序数据

ClickHouse 可用于有效地存储和分析时序数据，尽管它并未明确针对时序数据进行优化。虽然 ClickHouse 一旦摄取数据就可以非常快速地查询时序数据，但它在需要以较小批量摄取数据以进行实时分析的极高写入场景中往往会遇到困难。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合用于需要快速分析写入后时序数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，以便也可以使用 Druid 分析历史时序数据。

ClickHouse 关键概念

• 列式存储：ClickHouse 以列式格式存储数据，这意味着每列的数据都单独存储。这可以实现高效的压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。
• 分布式处理：ClickHouse 支持分布式处理，允许跨集群中的多个节点执行查询，从而提高查询性能和可扩展性。
• 数据复制：ClickHouse 提供数据复制，确保在硬件故障或节点中断情况下的数据可用性和容错能力。
• 物化视图：ClickHouse 支持物化视图，物化视图是作为表存储的预计算查询结果。物化视图可以显着提高查询性能，因为它们允许通过避免重新计算每个查询的结果来更快地检索数据。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

ClickHouse 架构

ClickHouse 的架构旨在支持对大型数据集进行高性能分析。ClickHouse 以列式格式存储数据。这可以实现高效的数据压缩和更快的查询执行，因为在查询执行期间仅读取所需的列。ClickHouse 还支持分布式处理，这允许跨集群中的多个节点执行查询。ClickHouse 使用 MergeTree 存储引擎作为其主要表引擎。MergeTree 专为高性能 OLAP 任务而设计，并支持数据复制、数据分区和索引。

Apache Druid 架构

Apache Druid 是一个功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical Nodes 是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储数据。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备了大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需合并更多节点即可水平扩展它们。
• Broker Nodes 充当传入查询的网关。它们的主要功能是将这些查询引导到相应的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator Nodes 具有管理角色，负责监督历史节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动协调器节点，并在备用节点上进行故障转移场景。
• Overlord Nodes 指示摄取任务的分配，将它们引导至中间管理器或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动的 overlord 和一个用于冗余的备份。
• MiddleManager 和 Indexer Nodes 是 Druid 中数据摄取的主力。虽然 MiddleManagers 启动用于数据摄取的短期任务，但 indexers 专为长期任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是一个组件，充当 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。