在构建任何软件应用程序时，选择合适的数据库至关重要。所有数据库在性能方面都有不同的优势和劣势，因此，针对您的特定用例和数据模型，确定哪个数据库的优势最多、缺点最少是一项重要的决策。下面您将找到 Google BigQuery 和 Apache Druid 的关键概念、架构、功能、用例和定价模型的概述，以便您可以快速了解它们之间的比较。
本文的主要目的是比较 Google BigQuery 和 Apache Druid 在涉及 时间序列数据 的工作负载方面的性能，而不是针对所有可能的用例。时间序列数据在数据库性能方面通常会带来独特的挑战。这是由于大量数据被写入以及访问这些数据的查询模式。本文并非旨在说明哪个数据库更好；它只是提供了每个数据库的概述，以便您可以做出明智的决定。
Google BigQuery 与 Apache Druid 对比分析
 |
 |
|
| 数据库模型 | 数据仓库 |
列式数据库 |
| 架构 | BigQuery 是由 Google Cloud Platform 提供的完全托管的无服务器数据仓库。它专为高性能分析而设计，并利用 Google 的基础设施进行数据处理。BigQuery 使用列式存储格式以实现快速查询，并支持标准 SQL。数据在 Google Cloud 区域内的多个可用区之间自动分片和复制 |
Druid 可以部署在本地、云端或使用托管服务 |
| 许可证 | 闭源 |
Apache 2.0 |
| 用例 | 商业分析、大规模数据处理、数据集成 |
实时分析、OLAP、时间序列数据、事件驱动型数据、日志分析、广告技术、用户行为分析 |
| 可扩展性 | 无服务器、PB 级数据仓库，可以处理海量数据，无需预先进行容量规划 |
水平可扩展，支持分布式架构，以实现高可用性和高性能 |
正在寻找最有效率的入门方式吗？
无论您是寻求节省成本、降低管理开销，还是开源，InfluxDB 都能提供帮助。
Google BigQuery 概述
Google BigQuery 是由 Google Cloud 开发的完全托管的无服务器数据仓库和分析平台。BigQuery 于 2011 年推出，旨在处理大规模数据处理和查询，使用户能够实时分析海量数据集。BigQuery 专注于性能、可扩展性和易用性，适用于广泛的数据分析用例，包括商业智能、日志分析和机器学习。
Apache Druid 概述
Apache Druid 是一个开源的实时分析数据库，专为高性能查询和数据摄取而设计。Druid 最初由 Metamarkets 于 2011 年开发，并于 2018 年捐赠给 Apache 软件基金会，因其能够以低延迟处理大量数据而广受欢迎。Druid 具有独特的架构，结合了时间序列数据库、搜索系统和列式存储的元素，特别适合用于涉及事件驱动型数据和交互式分析的用例。
Google BigQuery 用于时间序列数据
BigQuery 可用于存储和分析时间序列数据，尽管它更侧重于传统的数据仓库用例。对于需要低延迟响应时间的用例，BigQuery 可能会遇到困难
Apache Druid 用于时间序列数据
Apache Druid 专为实时分析而设计，非常适合用于处理需要在写入后快速分析的时间序列数据。Druid 还提供用于将历史数据存储在更便宜的对象存储中的集成，因此也可以使用 Druid 分析历史时间序列数据。
Google BigQuery 关键概念
与 Google BigQuery 相关的一些重要概念包括
- 项目：BigQuery 中的项目代表数据集、表和视图等资源的顶层容器。
- 数据集：数据集是 BigQuery 中表、视图和其他数据资源的容器。
- 表：表是 BigQuery 中的主要数据存储结构，由行和列组成。
- 架构：架构定义表的结构，包括列名、数据类型和约束。
Apache Druid 关键概念
- 数据摄取：将数据从各种来源（例如流式或批量数据源）导入 Druid 的过程。
- 段：Druid 中最小的数据存储单元，段是不可变的、分区的和压缩的。
- 数据汇总：在摄取期间聚合原始数据的过程，以减少存储需求并提高查询性能。
- 节点：Druid 的架构由不同类型的节点组成，包括 Historical、Broker、Coordinator 和 MiddleManager/Overlord，每个节点都有特定的职责。
- 索引服务：Druid 的索引服务管理摄取数据、创建段以及将它们发布到深度存储的过程。
Google BigQuery 架构
Google BigQuery 的架构构建在 Google 的分布式基础设施之上，专为高性能和可扩展性而设计。BigQuery 的核心是使用名为 Capacitor 的列式存储格式，它可以实现高效的数据压缩和快速的查询性能。数据会自动分区并分布在多个存储节点上，从而提供高可用性和容错能力。BigQuery 的无服务器架构自动为查询和数据存储分配资源，从而消除了用户管理基础设施或容量规划的需求。
Apache Druid 架构
Apache Druid 是一种功能强大的分布式数据存储，专为对大型数据集进行实时分析而设计。在其架构中，几个核心组件在确保其效率和可扩展性方面发挥着关键作用。以下是为 Apache Druid 提供支持的核心组件的概述。
- Historical 节点是 Druid 数据服务能力的基础。它们的主要职责是为查询提供存储的数据。为了实现此目的，它们从深度存储加载段，将它们保留在内存中，然后满足对这些段的查询。在考虑部署和管理时，这些节点通常位于配备大量内存和 CPU 资源的机器上。它们的扩展性很明显，因为只需合并更多节点即可水平扩展它们。
- Broker 节点充当传入查询的网关。它们的主要功能是将这些查询路由到相应的 Historical 节点或实时节点。有趣的是，它们是无状态的，这意味着可以扩展它们以适应查询并发性的增加。
- Coordinator 节点具有管理角色，负责监督数据在 Historical 节点之间的分布。它们关于加载或删除哪些段的决定基于特定的可配置规则。在部署方面，Druid 设置通常只需要一个活动的 Coordinator 节点，以及一个备用节点用于故障转移场景。
- Overlord 节点指示摄取任务的分配，将它们定向到 MiddleManager 节点或 Indexer 节点。它们的部署与 Coordinator 节点类似，通常有一个活动的 Overlord 和一个备用节点用于冗余。
- MiddleManager 节点和 Indexer 节点是 Druid 中数据摄取的主力军。虽然 MiddleManager 节点启动用于数据摄取的短期任务，但 Indexer 节点专为长期任务而设计。鉴于其密集型操作，这些节点需要高 CPU 和内存资源。它们的扩展性很灵活，允许根据数据摄取量进行水平扩展。
- Deep Storage 组件充当 Druid 的持久存储单元。Druid 与各种 Blob 存储解决方案集成，例如 HDFS、S3 和 Google Cloud Storage。
- Metadata Storage 是关于段、任务和配置的关键元数据的存储库。Druid 与流行的数据库兼容，用于此目的，包括 MySQL、PostgreSQL 和 Derby。
免费时间序列数据库指南
获取对备选方案和选择数据库的关键要求的全面评估。
Google BigQuery 功能
列式存储
BigQuery 的列式存储格式 Capacitor 实现了高效的数据压缩和快速的查询性能，使其适用于大规模数据分析。
与 Google Cloud 集成
BigQuery 与其他 Google Cloud 服务（例如 Cloud Storage、Dataflow 和 Pub/Sub）无缝集成，从而可以轻松地从各种来源摄取、处理和分析数据。
机器学习集成
BigQuery ML 使用户可以直接在 BigQuery 中创建和部署机器学习模型，从而简化了构建和部署机器学习应用程序的过程。
Apache Druid 功能
数据摄取
Apache Druid 支持实时和批量数据摄取，从而可以处理来自各种来源的数据，例如 Kafka、Hadoop 或本地文件。凭借对数据分区、复制和汇总的内置支持，Druid 可确保高可用性和高效存储。
可扩展性和性能
Druid 旨在水平扩展，为大规模部署提供支持，同时最大限度地减少性能下降。其独特的架构允许快速高效的查询，使其适用于需要低延迟分析的用例。
列式存储
Druid 以列式格式存储数据，与基于行的存储系统相比，可以实现更好的压缩和更快的查询性能。列式存储还允许 Druid 通过仅访问相关列来优化查询。
时间优化索引
Druid 的索引服务创建具有基于时间的段分区的段，从而优化时间序列数据的数据存储和检索。此功能显着提高了基于时间的查询的查询性能。数据汇总
Druid 的数据汇总功能在摄取期间聚合原始数据，从而减少存储需求并提高查询性能。此功能对于涉及高基数数据或大量相似数据点的用例尤其有利。
Google BigQuery 用例
商业智能和报告
BigQuery 广泛用于商业智能和报告，使用户能够分析大量数据并生成见解，从而为决策提供信息。其快速的查询性能以及与流行的 BI 工具（例如 Google Data Studio 和 Tableau）的无缝集成使其成为此用例的理想解决方案。
机器学习和预测分析
BigQuery ML 使用户可以直接在 BigQuery 中创建和部署机器学习模型，从而简化了构建和部署机器学习应用程序的过程。BigQuery 快速的查询性能以及对大规模数据处理的支持使其适用于预测分析用例。
数据仓库和 ETL
BigQuery 的分布式架构和列式存储格式使其成为数据仓库和 ETL（提取、转换、加载）工作流程的绝佳选择。它与其他 Google Cloud 服务（例如 Cloud Storage 和 Dataflow）的无缝集成简化了从各种来源摄取和处理数据的过程。
Apache Druid 用例
地理空间分析
Apache Druid 提供对地理空间数据和查询的支持，使其适用于涉及基于位置的数据的用例，例如跟踪资产移动、分析用户位置或监控事件分布。它高效处理大量地理空间数据的能力使使用者能够获得见解并根据位置信息做出数据驱动的决策。
机器学习和 AI
Druid 的高性能数据处理能力可用于机器学习和 AI 工作流程中的预处理和特征提取。它对实时数据摄取和低延迟查询的支持使其适用于需要实时预测或见解的用例，例如推荐系统或预测性维护。
实时分析
Apache Druid 的低延迟查询和实时数据摄取功能使其成为实时分析用例的理想解决方案，例如监控应用程序性能、用户行为或业务指标。
Google BigQuery 定价模型
Google BigQuery 定价基于按需付费模式，费用由数据存储、查询和流式传输决定。BigQuery 定价主要有两个组成部分
- 存储定价：存储成本基于 BigQuery 中存储的数据量。用户需要为活动存储和长期存储付费，对于不常访问的数据，长期存储以折扣价提供。
- 查询定价：查询成本基于查询期间处理的数据量。用户可以选择按需定价（按每次查询处理的数据付费）或固定费率定价（为一定量的查询容量提供固定的月度成本）。
Apache Druid 定价模型
Apache Druid 是一个开源项目，因此，它可以自托管，无需许可费用。但是，选择自托管 Druid 的组织在部署和运营 Druid 环境时，将产生与基础设施、管理和支持相关的费用。这些成本将取决于组织的具体要求和所选的基础设施，无论是在本地还是基于云。
对于那些喜欢托管解决方案的人，可以使用云服务来提供 Apache Druid 作为托管服务，例如 Imply Cloud。借助托管服务，提供商负责处理基础设施、管理和支持，从而简化了 Druid 的部署和运营。这些托管服务的定价将因提供商和选定的服务层级而异，其中可能包括数据存储、查询容量和数据摄取速率等因素。
免费开始使用 InfluxDB
InfluxDB Cloud 是开始存储和分析时间序列数据的最快方法。
