本文介绍了Apache Atlas，它是Hadoop的数据治理和元数据框架，具备支持多种元数据管理、数据分类、血缘分析等特性。阐述了其架构，包括Core、Integration等组件，还介绍了hive hook监听hive操作更新元数据及Column Level Lineage的血缘捕获方式。
1、Atlas是什么？
Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。
2、主要特性
支持各种Hadoop和非Hadoop元数据管理
数据分类
数据血缘
可以支持字段级别的血缘关系
元数据搜索
可以通过web页面进行搜索查看元数据（库、表、字段）和血缘关系（表和字段级别）
最低0.47元/天 解锁文章
扫一扫
1607
到【灌水乐园】发言
