Apache Atlas元数据血缘关系（Lineage）功能研究

一、生成血缘数据

血缘关系数据通过Process生成，可以在数据导入时自动生成或通过RestAPI新增Process生成。

1、sqoop同步自动生成血缘数据

sqoop同步MySQL数据库数据到hive，同步成功后，通过sqoop的Atlas Hook自动生成血缘数据。

sqoop将MySQL数据库所有表数据同步到hive仓库命令：

sqoop import-all-tables  --connect jdbc:mysql://192.168.1.1:3306/testdb --username root --password ****** --hive-import --hive-database testdb  --m 1

Atlas管理台可以查看到每张表的血缘关系图:

 

2、RestAPI接口生成血缘数据

通过Atlas的RestAPI接口新增Process，可以生成血缘数据。

例如将Atlas元数据管理的MySQL数据库表和hive数据表关联生成血缘数据，先查到两张表的guid值，然后构造请求数据调用接口：http://{atlas_host}:21000/api/atlas/v2/entity/bulk

请求消息：

{"entities":[{"typeName":"Process","attributes