Apache Druid 与 Kdb

Apache Druid 概述

Apache Druid 是一款开源实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动数据和交互式分析的用例。

Kdb 概述

kdb+ 是一款由 Kx Systems 开发的高性能列式时序数据库。kdb+ 于 2003 年发布，旨在高效管理大量数据，主要关注金融数据，例如股票市场交易和报价。它基于 q 编程语言的原则构建，q 编程语言是 APL 和 K 的后代。该数据库以其速度、可扩展性以及处理实时和历史数据的能力而闻名。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供集成功能，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时序数据。

Kdb 用于时序数据

kdb+ 专为存储时序数据而设计，使其自然适合需要高速查询和分析大量数据的应用程序。其列式存储格式允许对时序数据进行高效的压缩和检索，而其 q 语言提供了强大而富有表现力的方式来操作和分析数据。kdb+ 在金融数据方面尤其强大，尽管它也可以用于其他类型的时序数据。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
• 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

Kdb 关键概念

• q 语言：一种高级、特定领域的编程语言，用于在 kdb+ 中查询和操作数据。它结合了类似 SQL 的语法和函数式编程风格。
• 列式存储：kdb+ 以列而不是行的形式存储数据，这可以更快地查询和分析时序数据。
• 表：kdb+ 将数据存储在表中，这些表类似于关系表，但侧重于列式存储和时序数据。
• 散列表：一种表存储格式，其中每列都存储在单独的文件中，进一步提高了查询性能。

Apache Druid 架构

Apache Druid 是一款功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。

• Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是将存储的数据提供给查询。为了实现这一点，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需加入更多节点即可水平扩展。
• Broker 节点充当传入查询的守门人。它们的主要功能是将这些查询引导到相应的 historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
• Coordinator 节点具有管理角色，负责监督 historical 节点之间的数据分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 coordinator 节点，并有一个备用节点用于故障转移场景。
• Overlord 节点负责指示摄取任务的分配，将它们定向到 middle manager 或 indexer 节点。它们的部署类似于 coordinator 节点，通常有一个活动的 overlord 和一个备用节点用于冗余。
• MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 启动用于数据摄取的短期任务，但 indexer 节点专为长期任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage 是 Druid 的持久存储单元。Druid 与各种 blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。

Kdb 架构

kdb+ 是一款列式时序数据库，它采用定制的数据模型，专为高效存储和查询时序数据而设计。它不使用传统的 SQL，而是依赖 q 语言进行查询和数据操作。kdb+ 的架构专为内存和磁盘存储而设计，能够跨多台机器水平扩展。kdb+ 的主要组件是数据库引擎、q 语言解释器和内置 Web 服务器。