什么是数据仓库？

数据仓库是一种支持业务智能（如数据分析）的数据管理系统。数据仓库帮助您更深入地了解您的业务，并做出更明智的决策。

假设您想分析您的电子商务企业的客户数据。您可以将这些数据移动到仓库系统中，然后通过业务智能工具进行处理。

数据仓库流程可以帮助您分析组织中所有系统和软件工具中存在的数据，例如：

• 关系数据库
• 开源时序数据库，例如InfluxDB
• 客户关系管理（CRM）系统
• 企业资源规划（ERP）系统
• SaaS工具

数据仓库用例

数据仓库在业务中有多种使用方式。一般来说，它们可以被认为是适合任何涉及在线分析处理（OLAP）工作负载的情况。以下是一些数据仓库如何使用的具体示例。

数据可视化

数据可视化是数据仓库的常见用例，用于有效地创建随时间变化的数据的可视表示。任何想要促进数据探索和综合以生成有意义的业务洞察力的数据仓库都明智地将其作为其策略的一部分。

通过利用数据可视化的力量，数据仓库可以发现数据中的趋势、异常和关系，这些在以前并不容易看到。这使企业不仅能够识别其洞察力所在，而且还能够在做出明智的决策和制定长期战略时立即使用这些洞察力。数据可视化帮助数据仓库将原始数据转化为有价值的结论，从而推动更高的绩效、盈利能力和整体成功。

预测

数据仓库还用于创建预测以帮助长期规划。它们可以帮助企业领导者就公司未来做出明智的决策。例如，数据仓库可以提供有关客户趋势和其他市场指标的信息，这些信息可用于创建有效的营销活动或提供战略投资的信息。另一个例子可能是根据历史应用指标预测数据中心硬件需求。

数据分析

数据分析是数据仓库应用的一种常见方式。数据分析工具用于从数据仓库中获取洞察。通过应用分析技术，可以揭示模式、相关性以及其他趋势，这些可以用于改进运营或识别机会领域。数据分析师使用各种方法，如统计分析、预测建模和机器学习，从数据中提取洞察。

数据仓库架构

数据仓库架构是指使数据仓库成为可能的技术和框架。

数据仓库架构可以包括以下组件：

• 数据仓库是一个数据库，用于存储来自组织内不同数据源的信息。一些广泛使用的数据仓库包括Amazon Redshift、Azure Synapse Analytics、Google BigQuery和IBM Db2 Warehouse。数据仓库可以在自己的基础设施上自行管理，或使用云提供的托管解决方案（数据库即服务（DBaaS））。与所有数据库系统一样，数据仓库的性能可以通过CAP定理来观察，并且需要相应地做出权衡。
• ETL工具从源提取数据，将其转换为适合分析的格式，并将其上传到仓库数据库。这些工具消除了手动构建大数据管道以将数据推送到仓库系统的需求。
• 元数据为已移动到仓库的数据提供描述，有助于更有效地管理这些数据。

虽然商业智能工具位于仓库架构之外，但它们是数据仓库过程的关键组件。这些工具可以让您识别已移动到仓库的数据中的模式和趋势。商业智能工具的例子包括Tableau、Looker和Microsoft Power BI。

数据仓库是如何工作的？

数据仓库通过在中央位置存储和组织来自多个源的数据来工作，使用户能够在一个统一的地点执行整个数据集的查询。通过抽象来自多个不同位置的数据的复杂性，用户可以更高效地工作并从数据中获得更多价值。

以下是数据仓库工作原理和数据在系统中移动的一般生命周期的概述。

数据摄取

数据仓库过程的第一步是从各种来源收集和加载数据到数据仓库中。这可能涉及从数据库、平面文件或其他源提取数据，并将其转换成适合存储在数据仓库中的格式。这个过程将在下面的ETL部分中更深入地介绍。

数据存储

一旦数据被摄取，它就存储在数据仓库中。数据仓库通常设计用于存储大量数据，因此它们可能使用专门的存储技术，如列式数据库来优化性能和可扩展性。它们通常利用存储格式如Apache Parquet来压缩数据并降低存储成本。《Apache Arrow》也被越来越多地采用，作为一种在数据仓库中高效处理分析数据的方法。

组织数据

数据仓库中的数据通常以易于查询和分析的方式组织。这可能涉及创建表和表之间的关系，以及定义索引和物化视图来提高查询性能。

查询数据

用户可以使用SQL或各种其他查询语言对存储在数据仓库中的数据进行查询。数据仓库处理查询并将结果返回给用户。

数据分析

查询结果可以进一步使用数据可视化工具进行分析，或者使用Python等编程语言进行处理，用于构建机器学习模型等。

数据仓库中的ETL是什么意思？

数据仓库是一种用于存储数据以便于报告和分析的系统。数据仓库通常用于存储来自多个来源的数据，包括操作数据库、事务系统和其它外部数据源。将数据加载到数据仓库的过程被称为ETL（提取、转换、加载）。数据仓库的摄入过程是指将数据从这些不同来源移动到数据仓库的过程。

ETL是一个三步过程

1. 提取：ETL的第一步是从源系统中提取数据。这些数据通常存储在平面文件或关系型数据库中。

2. 转换：下一步是对数据进行转换。这可能包括清理数据、将其与其他数据集成以及在对数据进行计算。

3. 加载：ETL的最后一步是将转换后的数据加载到目标系统，这通常是关系型数据库。

ETL过程对于填充数据仓库以存储必要的报告和分析数据至关重要。它是数据仓库架构的基础，使得组织能够访问、转换和存储来自多个来源的大量数据。

使用数据仓库的好处

单一数据来源

数据仓库为组织中的所有数据提供了一个单一数据来源。您不需要在不同的系统和软件工具之间切换以查找数据，可以将数据集中存储在仓库中以便于访问。因此，数据集成是仓库最流行的用例之一。

历史数据分析

通过业务智能工具运行仓库数据可以执行历史数据分析。例如，您可以研究一段时间内的市场或客户行为，并学习新的销售和收入增长方法。

数据挖掘

数据仓库使您能够分析大量的操作数据以发现对您的企业有益的宝贵信息。例如，您可以从时序数据库中识别数据关系和相关性，这有助于解决组织问题并预测未来的业务结果。

提高性能和成本效率

数据仓库针对大量数据的分析工作负载进行了优化。这意味着它们不仅将提供您所需的功能，而且与尝试使用非专用工具相比，它们还可以为您节省资金。

分层存储是一个优化示例，它允许快速回答查询，同时在可能的情况下使用更便宜的存储来存储不常请求的数据，从而节省资金。

数据仓库中通常有三个存储层级

• 热存储 - 热存储用于频繁访问且需要快速查询的数据。这可能包括用于实时分析或用于日常业务操作的数据。热存储使用高性能存储，如固态硬盘（SSD）或RAM。
• 温存储 - 温存储用于比热存储数据访问频率低的数据，但仍然需要便于查询。这可能包括用于报告或每周或每月访问的数据。温存储可能使用更快的存储介质，如硬盘驱动器。通常，当数据从温存储中检索出来时，它将被保留在热存储中，直到一段时间未使用后被移除。
• 冷存储 - 冷存储用于访问频率较低且不需要立即查询的数据。这可能包括用于长期保存的数据或用于偶尔进行临时分析的数据。冷存储可以使用成本较低的存储介质，如磁带或对象存储来实现。

数据仓库与数据湖：关键区别

数据仓库与数据库：关键区别

数据仓库与数据集市

数据仓库类型

云数据仓库

云仓库是一种软件即服务（SaaS）产品，无需物理硬件或架构。您可以将数据移至公有云，而不是保留在本地。

云数据仓库的一些优点包括增加数据存储、降低拥有成本、提高速度和增强性能。此外，这些仓库针对数据分析进行了优化，有助于您生成有关组织的洞察。

最受欢迎的云仓库包括Amazon Redshift、Google BigQuery、Microsoft Azure和Snowflake。

数据仓库 appliance

数据仓库 appliance（DWA）是一个包含数据分析和硬件及软件工具的打包系统。您可以使用DWA构建本地数据仓库。这些系统可能包括数据库、服务器和操作系统。Teradata和Oracle Exadata是DWA的示例。

随着数据驱动型业务转向公有云，DWA变得越来越不常见。基于云的仓库可以提供比DWA更多的可扩展性和性能，因此成为仓库架构的首选选项。

数据仓库的潜在挑战

当正确使用时，数据仓库提供了一系列优势，本文已进行了介绍，但这并不意味着它们是完美的。在本节中，我们将探讨企业在实施和使用数据仓库时面临的常见挑战。

数据摄入

实施数据仓库的一个最大挑战是存储经常来自许多不同地方的数据。这可能是一个复杂的过程，因为数据可能以不同的格式和结构存储，在加载到数据仓库之前可能需要转换和清理。

数据质量

确保数据仓库中数据的质量和完整性也是一个重大的挑战。这可能包括识别和纠正数据中的错误和不一致性，以及实施确保数据保持准确和最新的流程。

在过去，数据仓库通常不会实时更新，而是使用批量处理定期更新仓库，这意味着根据使用情况，陈旧的数据可能成为一个问题。现代数据仓库通常可以处理流数据，因此这不再是问题。

可扩展性

随着数据仓库中数据量的增长，将其扩展以满足不断增长的数据处理和存储需求可能具有挑战性。这可能需要投资额外的硬件或优化数据仓库的设计和配置以提高性能。理想情况下，您选择的数据仓库将支持开箱即用的分布式部署和横向扩展。

扩展问题可能是由于新数据的写入量高或来自最终用户的查询数量。许多现代数据仓库已采用将计算与存储分离的架构，这有助于减轻这个问题。

安全性

确保数据仓库的安全性至关重要，因为大量数据都存储在一个地方，使其成为一个有价值的靶子。一些潜在的安全策略包括实施数据加密、访问控制、监控等措施，以保护数据免受未经授权的访问或滥用。通过监控查询和数据访问模式进行异常检测的策略可以帮助在早期预防重大数据泄露。

用户采用

另一个挑战是让用户采用并有效使用数据仓库。这可能包括提供培训和支援，帮助用户了解如何使用数据仓库并从数据中提取洞察。确保您的数据仓库可以轻松与最终用户已经使用的工具集成，对于获得采用并减少摩擦至关重要。

正确实施和使用数据仓库可能是一个复杂且耗时的过程，需要精心规划和管理工作以确保成功。重要的是要仔细考虑您组织的具体需求和需求，并为项目分配充足资源以确保其成功。

数据仓库工具

以下我们将探讨一些可以用作数据仓库的项目，以及一些其他工具，可以帮助将数据移动到仓库中，并查询该数据进行分析。

Apache Hadoop

Apache Hadoop是一个开源的软件框架，用于存储和处理大数据。它旨在处理大量数据，包括结构化和非结构化数据。Hadoop是可扩展的，这意味着它可以用在小或大的计算机集群上。Hadoop可以用作数据仓库系统的一个组件。

Apache Presto

Presto是一个开源的SQL查询引擎，旨在对大数据集进行交互式分析。Presto支持多种数据源，包括关系数据库、NoSQL数据库和HDFS。

Apache Spark

Apache Spark 是一种快速灵活的大规模数据处理引擎。它可以用于对数据仓库中存储的数据进行数据转换和分析。Spark 常用于 ETL 类型的负载，并且可以与许多存储后端集成。

Superset

Apache Superset 是一款开源的数据可视化和商业智能工具，允许用户基于数据仓库中的数据创建仪表板和交互式报告。它提供了诸如 SQL 实验室和数据探索等众多功能，非常适合数据分析师和开发者使用。

PowerBI

Power BI 是一款来自微软的数据可视化和商业智能工具，允许用户基于数据仓库中的数据创建交互式仪表板和报告。它提供了数据建模和预测分析等功能，非常适合进行高级分析任务。

Metabase

Metabase 是一款开源的数据可视化和商业智能工具，允许用户基于数据仓库中的数据创建交互式仪表板和报告。它易于使用，并提供了一系列定制选项，非常适合商业用户和数据分析师。

Tableau

Tableau 是一款流行的数据可视化工具，允许用户基于数据仓库中的数据创建交互式图表、图形和仪表板。它提供了多种定制选项，可以用来创建既信息丰富又视觉吸引人的可视化。

FAQS

数据仓库是使用 SQL 还是 NoSQL？

数据仓库可以是 SQL 或 NoSQL 数据库，具体取决于实现它们的特定技术。使用哪种取决于使用该组织的具体需求和需求。一些组织可能会使用 SQL 和 NoSQL 数据仓库的组合来存储和分析不同类型的数据。

SQL 数据仓库使用传统的基于表的数据库管理系统（RDBMS）来存储数据。这意味着数据组织成具有行和列的表格，查询使用 SQL 编写以检索和操作数据。SQL 数据仓库通常用于结构化数据，如来自事务系统或遵循良好定义模式的数据。

NoSQL 数据仓库使用非关系型数据库管理系统来存储数据。NoSQL 数据库可以以多种格式存储数据，包括文档、键值对和图。它们通常用于非结构化数据，如来自社交媒体平台或传感器网络的数据。

数据湖屋与数据仓库

数据湖屋是一种混合数据管理系统，结合了数据湖和数据仓库的功能。数据湖是一个集中存储库，允许用户以规模存储和处理大量结构化和非结构化数据。数据仓库是一个专为快速查询和分析大型数据集而设计的数据库。

数据仓库针对存储和查询结构化数据进行优化，通常用于报告和商业智能任务。它通常使用传统的数据库管理系统（RDBMS）实现，并针对快速查询和分析结构化数据进行优化。

数据湖屋与数据仓库的主要区别在于，数据湖屋旨在处理结构化和非结构化数据，而数据仓库通常用于存储和分析结构化数据。数据湖屋可以摄取和存储各种数据类型，包括日志文件、社交媒体数据和传感器数据，以及传统的结构化数据。这使得它成为需要存储和分析多种数据类型的组织的理想选择。