17、人工智能在数据治理中的应用：提升效率与安全性

人工智能在数据治理中的应用：提升效率与安全性

在当今数字化时代，企业拥有海量的数据资产。然而，要对企业拥有的每一个数据资产的每一个属性实施全面的数据治理计划，既不现实也不可能。数据治理的目标是管理数据环境中对企业有价值的相关方面。

数据治理的重要性与目标

以一家药品分销公司为例，该公司每天从配送中心向药店和医院运送数以万计的包裹。为了确保业务的高效运行，公司不仅需要对客户记录上的邮政地址进行标准化，还需要根据邮政词典进行验证。如果包裹因地址问题退回配送中心，平均每人需要 10 分钟来更正地址、贴上新标签并重新发货。考虑到每天可能有数百到数千个此类案例，这将导致相当可观的成本。因此，以最高的数据质量标准有效管理地址信息的数据质量，不仅可以显著降低运营成本，还能增加净利润。这表明，良好的数据治理计划并非面面俱到，而是将预算和精力集中在最相关的业务成果上。

人工智能融入数据治理的两个关键领域

数据治理涵盖广泛的主题，本文将重点探讨人工智能在数据治理中的两个应用领域：元数据和数据质量管理，以及数据安全。

人工智能在元数据和数据质量管理中的应用

随着数据量的爆炸式增长，数据存储成本增加，数据来源也日益增多。每个数据来源都需要在数据治理目录中进行登记，就像图书馆中的每本书都有一个描述其信息和存放位置的参考一样。未登记的数据来源难以有效查找和管理。

许多数据湖项目失败的原因在于缺乏治理，大量数据来源每天被加载到数据湖中，但没有在数据治理目录中对每个加载的来源进行库存描述。一段时间后，这些未治理的数据湖项目会缺乏关于哪些特定来源被加载到数据湖以及它们的位置的必要知识。数据科学家无法获得有关数据来源、所含信息、