在构建任何软件应用程序时,选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势,因此,为您的特定用例和数据模型确定哪种数据库的优势最大、缺点最少是一项重要的决策。下面您将找到 Apache Druid 和 Graphite 的关键概念、架构、功能、用例和定价模型的概述,以便您可以快速了解它们之间的比较。

本文的主要目的是比较 Apache Druid 和 Graphite 在涉及时间序列数据的工作负载中的性能,而不是所有可能的用例。时间序列数据通常在数据库性能方面提出了独特的挑战。这是因为正在写入大量数据以及访问该数据的查询模式。本文并非旨在说明哪种数据库更好;它只是提供了每个数据库的概述,以便您可以做出明智的决定。

Apache Druid 与 Graphite 细分


 
数据库模型

列式数据库

时间序列数据库

架构

Druid 可以部署在本地、云端或使用托管服务

Graphite 可以部署在本地或云端,并且它支持通过跨多个后端节点对数据进行分区来实现水平扩展。

许可证

Apache 2.0

Apache 2.0

用例

实时分析、OLAP、时间序列数据、事件驱动数据、日志分析、广告技术、用户行为分析

监控、可观测性、物联网、实时分析、DevOps、应用程序性能监控

可扩展性

水平可扩展,支持分布式架构以实现高可用性和性能

水平可扩展,支持集群和复制以实现高可用性和性能

正在寻找最有效的入门方式?

无论您是寻求节省成本、降低管理开销还是开源,InfluxDB 都能提供帮助。

Apache Druid 概述

Apache Druid 是一个开源的实时分析数据库,专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发,后来于 2018 年捐赠给 Apache 软件基金会,因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构,结合了时间序列数据库、搜索系统和列式存储的元素,特别适合涉及事件驱动数据和交互式分析的用例。

Graphite 概述

Graphite 是一个开源的监控和绘图工具,由 Orbitz 于 2006 年创建,并于 2008 年开源。Graphite 专为存储时间序列数据而设计,广泛用于收集、存储和可视化来自各种来源的指标,例如应用程序性能、系统监控和业务分析。


Apache Druid 用于时间序列数据

Apache Druid 专为实时分析而设计,非常适合处理需要在写入后快速分析的时间序列数据。Druid 还提供集成,用于将历史数据存储在更便宜的对象存储中,以便也可以使用 Druid 分析历史时间序列数据。

Graphite 用于时间序列数据

Graphite 专门为时间序列数据设计和优化。它使用 Whisper 数据库格式,该格式通过根据用户定义的保留策略自动聚合和过期数据,从而有效地存储和管理时间序列数据。Graphite 支持广泛的函数,用于查询、转换和聚合时间序列数据,使用户能够创建自定义图表和仪表板。但是,由于 Graphite 专门关注时间序列数据,因此它可能不适合其他类型的数据或需要更高级数据建模或查询功能的用例。


Apache Druid 关键概念

  • 数据摄取:将数据从各种来源(例如流式或批量数据源)导入 Druid 的过程。
  • :Druid 中最小的数据存储单元,段是不可变的、分区的和压缩的。
  • 数据汇总:在摄取期间聚合原始数据以减少存储需求并提高查询性能的过程。
  • 节点:Druid 的架构由不同类型的节点组成,包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord,每个节点都有特定的职责。
  • 索引服务:Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。

Graphite 关键概念

  • 指标:Graphite 中的指标表示时间序列数据点,由路径(名称)、时间戳和值组成。
  • 序列:序列是与同一事物相关的所有指标的集合。例如,您可能有一个用于 CPU 使用率的序列、一个用于内存使用率的序列和一个用于磁盘使用率的序列。
  • Whisper:Whisper 是 Graphite 使用的固定大小、基于文件的时序数据库格式。它自动管理数据保留和聚合。
  • Carbon:Carbon 是负责接收、缓存和存储 Graphite 中指标的守护进程。它监听传入的指标并将它们写入 Whisper 文件。
  • Graphite-web:Graphite-web 是一个 Web 应用程序,它提供了一个用户界面,用于可视化和查询存储的时间序列数据。


Apache Druid 架构

Apache Druid 是一个强大的分布式数据存储,专为对大型数据集进行实时分析而设计。在其架构中,几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件概述。

  • Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现这一点,它们从深度存储加载段,将它们保存在内存中,然后满足对这些段的查询。在考虑部署和管理时,这些节点通常驻留在配备大量内存和 CPU 资源的机器上。它们的扩展性显而易见,因为只需合并更多节点即可水平扩展它们。
  • Broker 节点充当传入查询的网关。它们的主要功能是将这些查询引导到适当的历史节点或实时节点。有趣的是,它们是无状态的,这意味着可以扩展它们以适应查询并发性的增加。
  • Coordinator 节点具有管理角色,负责监督跨历史节点的数据分发。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面,Druid 设置通常只需要一个活动的协调器节点,并有一个备用节点处于待机状态以应对故障转移情况。
  • Overlord 节点决定摄取任务的分配,将它们定向到中间管理器或索引器节点。它们的部署与协调器节点的部署类似,通常有一个活动的 overlord 和一个备用节点用于冗余。
  • MiddleManager 和 Indexer 节点是 Druid 中数据摄取的主力。虽然 MiddleManager 启动用于数据摄取的短期任务,但索引器专为长期任务而设计。鉴于它们的密集操作,这些节点需要高 CPU 和内存资源。它们的可扩展性是灵活的,允许根据数据摄取量进行水平扩展。
  • 深度存储是充当 Druid 持久存储单元的组件。Druid 与各种 Blob 存储解决方案集成,例如 HDFS、S3 和 Google Cloud Storage。
  • 元数据存储库是关于段、任务和配置的关键元数据的存储库。Druid 为此目的与流行的数据库兼容,包括 MySQL、PostgreSQL 和 Derby。

Graphite 架构

Graphite 的架构由几个组件组成,包括 Carbon、Whisper 和 Graphite-web。Carbon 负责从各种来源接收指标,将它们缓存在内存中,并将它们存储在 Whisper 文件中。Whisper 是一种基于文件的时序数据库格式,可以有效地管理数据保留和聚合。Graphite-web 是一个 Web 应用程序,它提供了一个用户界面,用于查询和可视化存储的时间序列数据。Graphite 可以部署在单个服务器上,也可以跨多个服务器分布以提高性能和可扩展性。

免费时间序列数据库指南

获取对替代方案和选择您的替代方案的关键要求的全面审查。

Apache Druid 功能

数据摄取

Apache Druid 支持实时和批量数据摄取,使其能够处理来自各种来源(如 Kafka、Hadoop 或本地文件)的数据。凭借对数据分区、复制和汇总的内置支持,Druid 确保了高可用性和高效存储。

可扩展性和性能

Druid 旨在水平扩展,为大规模部署提供支持,同时最大限度地减少性能下降。其独特的架构允许快速高效的查询,使其适用于需要低延迟分析的用例。

列式存储

Druid 以列式格式存储数据,与基于行的存储系统相比,可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。

时间优化索引

Druid 的索引服务创建具有基于时间的段分区,优化了时间序列数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总

Druid 的数据汇总功能在摄取期间聚合原始数据,从而减少存储需求并提高查询性能。此功能对于涉及高基数数据或大量相似数据点的用例特别有益。

Graphite 功能

实时监控和可视化

Graphite 提供实时监控和可视化功能,允许用户在收集时间序列数据时对其进行跟踪和分析。

灵活的查询和聚合函数

Graphite 支持广泛的函数,用于查询、转换和聚合时间序列数据,使用户能够创建根据其特定需求量身定制的自定义图表和仪表板。

数据保留和聚合

Graphite 的 Whisper 数据库格式自动管理数据保留和聚合,从而减少存储需求并提高查询性能。


Apache Druid 用例

地理空间分析

Apache Druid 提供对地理空间数据和查询的支持,使其适用于涉及基于位置的数据的用例,例如跟踪资产的移动、分析用户位置或监控事件的分布。它高效处理大量地理空间数据的能力使用户能够根据位置信息获得洞察力并做出数据驱动的决策。

机器学习和人工智能

Druid 的高性能数据处理能力可用于机器学习和人工智能工作流程中的预处理和特征提取。它对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或洞察力的用例,例如推荐系统或预测性维护。

实时分析

Apache Druid 的低延迟查询和实时数据摄取能力使其成为实时分析用例的理想解决方案,例如监控应用程序性能、用户行为或业务指标。

Graphite 用例

应用程序性能监控

Graphite 广泛用于监控应用程序和服务的性能,帮助开发人员和运营团队跟踪关键指标,例如响应时间、错误率和资源利用率。通过实时可视化这些指标,用户可以识别性能瓶颈、检测问题并优化其应用程序以获得更好的性能和可靠性。

基础设施和系统监控

Graphite 也常用于监控服务器、网络和其他基础设施组件的健康状况和性能。通过收集和分析诸如 CPU 使用率、内存消耗、网络延迟和磁盘 I/O 等指标,IT 管理员可以确保其基础设施平稳运行,并在潜在问题影响系统性能或可用性之前主动解决这些问题。

业务分析和指标

除了技术监控之外,Graphite 还可以用于跟踪和可视化与业务相关的指标,例如用户参与度、销售数据或营销活动绩效。通过随时间推移可视化和分析这些指标,业务利益相关者可以深入了解趋势,发现增长机会,并做出数据驱动的决策以改进其运营。


Apache Druid 定价模型

Apache Druid 是一个开源项目,因此,它可以免费自托管,无需许可费用。但是,选择自托管 Druid 的组织在在其环境中部署和运营 Druid 时将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求和选择的基础设施,无论是本地部署还是基于云的部署。

对于那些喜欢托管解决方案的人,有一些云服务提供 Apache Druid 作为托管服务,例如 Imply Cloud。借助托管服务,提供商处理基础设施、管理和支持,从而简化了 Druid 的部署和操作。这些托管服务的定价将因提供商和选择的服务层级而异,其中可能包括数据存储、查询容量和数据摄取率等因素。

Graphite 定价模型

Graphite 是一个开源项目,因此,用户可以免费下载、安装和使用它,而无需任何许可费。但是,用户负责设置和维护自己的 Graphite 基础设施,这可能涉及与服务器硬件、存储和运营费用相关的成本。还有一些商业产品和服务建立在 Graphite 之上或与 Graphite 集成,以不同的价格点提供额外的功能、支持或托管选项。