组织主要商业目的是使用数据和分析(D&A)数据做出数据驱动决策,这些组织正面临着在使用数据和分析时,采用AI技术促进增长的强烈需求。数据和分析过程的动态性意味着,在同一个组织中,不同的团队可能会使用各种不同机器学习模型和BI工具,并且每个团队都有自己的目标。这造成了管理数据和使用数据脱节的情况。
随着组织将LLM和生成式人工智能纳入其数据生命周期,我们必须扩大为这些模型提供数据所需的量,并保持竞争力。这导致了在为AI做好数据准备的同时,如何管理D&A的不确定性。由于D&A治理通常分散在多个团队中,因此各种数据源和BI工具的敏感数据通常是手动管理的,这使治理框架变得异常复杂。
正如Gartner所指出的那样,不连贯的数据治理框架会影响组织人工智能的预期价值。应对这种不确定性的一种方法是开发一个强大的数据和分析治理框架,以便组织能够为人工智能做好准备。TrustZ的AI安全平台可以通过清晰化和控制能力帮助组织开发一个数据与分析(D&A)治理框架。TrustZ的AI平台可以实现动态安全策略、数据安全可见性和Policy的执行性。
理解数据和分析(D&A)治理
数据治理对于保护敏感数据和实现人工智能就绪状态都很重要。为LLM设置策略以供不同用户的使用不同的内部数据同样重要。使用动态安全策略和管理敏感数据是帮助实施人工智能治理的一种方式,然后将其扩展到D&A治理框架,通过该框架的不断演进,逐步满足日益复杂和分散的AI需求。
数据治理
拥有且处理数据的组织,特别是有大量敏感健康数据(PHI)或个人数据(PII)的组织,需了解数据治理的重要性。理想情况下是这些组织已经建立了强大的数据治理框架。数据治理意味着有一个框架来确保数据有用(例如:用于分析)、可用和安全。数据治理有五个主要原则:所有权、可访问性、知识、质量和安全性。关注我们的博客,可以阅读到更多关于数据治理以及TrustZ团队关于敏捷数据安全治理的观点和想法。
数据和分析(D&A)治理
D&A治理包括数据治理(TrustZ翻译组注释:这个仅仅是作者观点,不一定是业内主流观点),但也将它其扩展到业务领域。它是多学科的,对业务结果高度敏感,不是仅仅依赖一刀切的方法。最终,D&A治理汇集了一系列治理政策,在整个业务系统中监控和执行这些政策,以确保面向AI的数据可用、高质量和安全。
构建人工智能就绪的D&A治理框架
为了确保您的数据可用,并且可以安全扩展和合规,创建一个强大的D&A治理框架非常重要。为此,我们建议遵循以下步骤:
1.建立清晰的目标:首先确定框架中面向明确业务成果的目标。目标和风格都必须与组织的业务背景和AI目标保持一致。提供一个透明的、协作的、包容多学科团队的模型。
2.制定数据政策和标准:围绕与您组织的业务环境相一致的数据管理实践制定全面的数据策略和标准。这包括为LLM设置特定的策略,以确保数据在所有情况下都受到保护。
3.确定数据所有权:虽然每个数据资产都应该有一个特定的所有者,但这应该是一个协作的多学科团队,涵盖所定义的业务背景和结果的不同方面。这使得面向未来的业务成果能够对不断发展的AI做出响应。
4.实施数据访问控制:AI需要强大的自动化访问管理来简化权限,以便在不同团队之间快速轻松地共享数据,从而达成业务成果。这些权限体系应该支持各种ML和BI技术栈,通过提供完整的RBAC和ABAC支持。
5.确保数据质量:使用自动化工具,建立定期数据校验和数据质量监控流程,以解决现有的业务目标和结果。
6.隐私保护:从源头上对数据进行跟踪(TrustZ翻译组注释:支持作者观点,国内有少数通过流量对数据进行分类分级的公司,隔靴搔痒),持续对敏感数据进行分类和标记,以便动态应用安全和隐私政策,同时保持透明度和完整性,使审计更容易。
将D&A治理集成到现有AI项目和工作流程中的一些Tips:
•与AI目标保持一致:在制定治理政策时,确保它们支持特定AI项目的需求,包括数据准确性和模型可靠性。
•可扩展性:确保您的框架能够随着数据量的增长和AI计划的发展而扩展。
•持续改进:由于新的挑战将会出现,AI技术将会进步,需定期审查和更新治理实践。
结论
数据治理和安全对于AI的准备至关重要。拥有一个强有力的框架的必要性是显而易见的,特别是对于建立框架以实施AI计划的D&A组织来说。设定明确的数据策略、自动化访问控制、数据验证和质量监控是确保您的人工智能模型建立在准确、可靠的数据之上的关键。
数据和AI安全平台对于节省时间和确保合规性至关重要。TrustZ的AI安全执行、LLM活动监控和访问管理工具为您提供数据和分析治理,释放数据团队的时间,帮助您通过审计。
--------------------------------------------------------------------
TrustZ翻译团队简介:
TrustZ团队致力于科普、推广数据治理、数据安全治理相关的技术和管理方法。将最新的国内的数据理论方法推向全球,将海外的思想整理,翻译过来回馈给感兴趣的读者。我们也会独立撰写一些文章,以汇总整理相关知识。