Apache Druid 与 Mimir

Apache Druid 概览

Apache Druid 是一款开源实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其处理大量数据和低延迟的能力而广受欢迎。Druid 具有独特的架构，结合了时序数据库、搜索系统和列式存储的元素，特别适合涉及事件驱动型数据和交互式分析的用例。

Mimir 概览

Grafana Mimir 是一个开源软件项目，为 Prometheus 提供了可扩展的长期存储解决方案。Grafana Mimir 于 2022 年由 Grafana Labs 启动并发布，旨在成为最可扩展、性能最佳的指标开源时序数据库。该项目融合了 Grafana Labs 工程师在以大规模运行 Grafana Enterprise Metrics 和 Grafana Cloud Metrics 时获得的知识和经验。

Apache Druid 用于时序数据

Apache Druid 专为实时分析而设计，非常适合处理需要在写入后快速分析的时序数据。Druid 还提供集成功能，用于将历史数据存储在更便宜的对象存储中，以便也可以使用 Druid 分析历史时序数据。

Mimir 用于时序数据

Grafana Mimir 非常适合处理时序数据，使其成为涉及指标存储和分析场景的理想选择。它为 Prometheus（一种流行的开源监控和警报系统）提供长期存储功能。借助 Grafana Mimir，用户可以存储和查询长期时序指标，从而进行历史分析和趋势检测。它特别适用于需要可扩展和高性能的时序数据存储以进行指标监控和可观测性应用。

Apache Druid 关键概念

• 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
• 段（Segments）：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
• 数据汇总（Data Rollup）：在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
• 节点（Nodes）：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
• 索引服务（Indexing Service）：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

Mimir 关键概念

• 指标（Metrics）：在 Grafana Mimir 中，指标表示随时间跟踪的测量值或观察结果。它们可以包括各种类型的数据，例如系统指标、应用程序性能指标或传感器数据。
• 长期存储（Long-term Storage）：Grafana Mimir 提供专门为长期保留时序数据量身定制的存储解决方案，允许用户存储和查询长期历史指标。
• 微服务（Microservices）：Grafana Mimir 采用基于微服务的架构，其中系统由多个水平可扩展的微服务组成，这些微服务可以独立并行运行。

Apache Druid 架构

Apache Druid 是一款功能强大的分布式数据存储系统，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是驱动 Apache Druid 的核心组件的概述。

• Historical Nodes（历史节点）是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储数据。为了实现这一目标，它们从深度存储加载段，将它们保留在内存中，然后处理对这些段的查询。在考虑部署和管理时，这些节点通常部署在配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见，因为只需添加更多节点即可进行水平扩展。
• Broker Nodes（Broker 节点）充当传入查询的守门人。它们的主要功能是将这些查询引导到相应的历史节点或实时节点。有趣的是，它们是无状态的，这意味着可以对其进行横向扩展以适应查询并发性的增加。
• Coordinator Nodes（Coordinator 节点）具有管理角色，负责监督数据在历史节点之间的分布。它们关于加载或删除哪些段的决策基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的协调器节点，并有一个备用节点用于故障转移场景。
• Overlord Nodes（Overlord 节点）决定摄取任务的分配，将它们定向到中间管理器或索引器节点。它们的部署与协调器节点的部署类似，通常有一个活动的 overlord 和一个用于冗余的备份。
• MiddleManager 和 Indexer Nodes（MiddleManager 和 Indexer 节点）是 Druid 中数据摄取的主力军。虽然 MiddleManagers 启动用于数据摄取的短期任务，但 indexers 专为长期任务而设计。鉴于它们的密集操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
• Deep Storage（深度存储）是一个组件，充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成，如 HDFS、S3 和 Google Cloud Storage。
• Metadata Storage（元数据存储）是关于段、任务和配置的关键元数据的存储库。Druid 与用于此目的的流行数据库兼容，包括 MySQL、PostgreSQL 和 Derby。

Mimir 架构

Grafana Mimir 采用基于微服务的架构，其中系统由多个水平可扩展的微服务组成。这些微服务可以独立并行运行，从而实现工作负载的有效分配和可扩展性。Grafana Mimir 的组件被编译成一个单独的二进制文件，提供了一个统一且有凝聚力的系统。该架构旨在实现高可用性和多租户，使多个用户和应用程序能够同时使用数据库。这种分布式架构确保了在处理大规模指标存储和检索场景中的可扩展性和弹性。