数据网格

详细概述

每年，都会涌现出新的工具，通过使数据的管理、发现和检索变得更加容易，帮助我们跟上每天生成的数据量不断增长的步伐。在本页中，您将了解什么是数据网格、它的作用以及何时使用数据网格。事不宜迟，让我们开始吧。

什么是数据网格？

当您听到“数据网格”（数据管理中的一个新概念）这个术语时，您应该想到两个词：去中心化和领域。

当然，去中心化的事物分布在多个位置。对于数据网格，这意味着组织的数据存储库分布在组织内的各个领域。领域可以指不同的部门，例如销售、会计等等。

但是数据网格不仅仅如此，您将在下面了解到。为了帮助您更好地理解什么是数据网格，我们将把它与其他传统数据管理技术进行比较：数据湖和数据编织。

数据网格与数据湖对比

本质上，数据湖是一种集中式数据架构，用于存储组织的数据。来自组织内不同领域（如营销、销售、ERP 等）的所有数据都存储在集中位置。如果营销团队的某个人需要访问特定的数据点，他们需要咨询负责管理数据湖的 IT 部门团队。

数据网格的运作方式不同。组织内的每个领域都负责维护和管理其特定的数据。换句话说，营销团队将管理任何营销数据，销售团队将管理销售数据，依此类推。使用数据网格是一种分布式方法。营销团队无需咨询 IT 团队即可访问自己的数据，销售团队也不需要，等等。

数据网格与数据编织对比

数据网格和数据编织之间的主要区别在于民主化。如上所述，数据网格是一个相对较新的概念，强调数据所有权和治理的民主化。相比之下，数据编织是一个更成熟的概念，侧重于用于管理和治理数据的统一架构。

数据编织使数据发现、访问和治理能够在中心位置发生。另一方面，数据网格通过围绕领域组织数据，从而在团队之间实现更大的自主性和敏捷性。

数据网格的原则

如前所述，数据网格使组织摆脱了传统的数据管理技术，即单个团队管理整个数据架构，转而采用更分布式的方案。数据网格具有定义其架构的特定原则。只有当数据架构符合以下条件时，您才能将其视为数据网格

• 领域导向的所有权

• 自助服务数据基础设施

• 联邦数据治理

• 数据即产品

领域导向的所有权

领域导向的所有权意味着组织内生成和使用数据的每个领域都应拥有和管理自己的数据。这包括为领域团队设置标准和访问控制。例如，营销领域应该能够实施访问控制，以限制某些团队成员访问或修改特定数据。

自助服务数据基础设施

自助服务数据基础设施意味着整个数据基础设施，从存储到处理和分析，都必须是自助服务。这意味着每个领域都负责管理自己的基础设施，包括数据存储、数据处理以及创建分析仪表板以从其数据中获得洞察。因此，每个领域都必须了解数据基础设施工具。

联邦数据治理

联邦数据治理意味着数据治理和标准通过共享标准和协议在整个组织中分布。这意味着领域应负责治理自己的数据并遵守标准和协议。

数据即产品

将数据作为产品进行管理意味着负责管理数据的领域必须像产品一样看待它。每当另一个领域需要访问该数据时，管理该数据的领域都必须提供高质量的数据。此外，该领域还必须提供元数据和其他工件，从而为其他领域创造积极的客户体验。

数据网格的用途是什么？

数据网格是一种现代数据架构方法，它解决了集中式数据管理和治理的问题。它创建了一个敏捷的环境，其中分布式数据管理促使组织内更多的人员以数据为驱动。此外，与集中式方法相比，数据网格消除了数据孤岛的问题，并允许团队自主工作，从而提供更快的数据交付和改进的数据质量，在集中式方法中，每个领域都需要咨询集中式团队才能访问特定的数据点。

以下是使用数据网格的一些好处

• 改进的数据质量。领域能够利用他们在该领域内获得的专业知识来管理自己的数据。

• 更好的沟通和协作。现在数据更易于访问和透明。

• 更快的数据交付。集中式方法通常会导致不必要的延迟。

何时使用数据网格

虽然数据网格是一种现代的数据管理和治理方法，但它并非万能解决方案。目前，它并不适合所有组织。相反，一些组织采用这种方法是因为它更好地满足了他们的要求。

数据网格特别适合那些在数据孤岛、数据交付延迟和数据质量差方面苦苦挣扎的大型组织。它也适用于那些希望其大多数团队成员以数据为驱动，并计划为团队提供必要数据技能的组织。数据网格对于拥有多个团队处理不同数据集的组织尤其有效，这些数据集在管理自身数据以提高其质量方面需要自主性。

如何设计和实施数据网格

设计和实施数据网格需要战略性和协作性方法，这需要整个组织（包括所有领域）的参与。以下是一些需要考虑的步骤

• 识别组织中存在的数据领域。这包括识别组织使用的数据、哪些领域或团队使用它以及他们与数据的关系。

• 定义每个领域将处理的数据产品。这包括确定每个产品的诸如数据模式、业务逻辑和数据质量要求等内容。

• 建立领域所有权。换句话说，使领域成为他们处理的数据产品的所有者，并让他们对制作高质量的数据产品和按时交付负责。

• 采用联邦治理方法，每个领域都有自己的标准和政策。

• 实施数据基础设施，使每个领域都能够执行其在存储、处理、分析等方面的必要任务。

• 建立数据文化方法，鼓励组织中的每个人都以数据为驱动，并理解以数据为驱动的重要性。

• 不断改进和迭代流程，识别需要改进的领域，并根据需要进行调整。

结论

在本教程中，您学习了什么是数据网格以及它与其他类型的数据架构有何不同。此外，您还了解了数据网格的主要原则以及何时以及如何设置数据网格。感谢您的阅读！有关更多技术教程，请查看我们的博客。