数据血缘
文章平均质量分 93
fan_bigdata
学无止境!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
apache atlas与hive、hbase、spark的集成
Atlas 的使用相对简单,其主要工作是同步各服务(主要是 Hive)的元数据,并构建元数据实体之间的关联关系,然后对所存储的元数据建立索引,最终未用户提供数据血缘查看及元数据检索等功能。Atlas 在安装之初,需手动执行一次元数据的全量导入,后续 Atlas 便会利用 Hive Hook 增量同步 Hive 的元数据。手动导入hbase的元数据,与spark任务相关联获取数据血缘关系。原创 2023-03-03 16:40:54 · 2551 阅读 · 3 评论 -
apache atlas 2.1.0的安装
apache atlas 2.1.0的安装原创 2023-03-03 11:10:25 · 625 阅读 · 0 评论 -
Atlas 1.1.0 (+ cdh 5.16.2)编译与安装
apache atlas 1.官网地址: https://atlas.apache.org/#/ 下载地址: https://atlas.apache.org/#/Downloads 2.架构原理 3.各组件版本 Atlas 1.1.0 + cdh 5.16.2 + solr 7.7.3 组件 版本 Flume NG 1.6.0+cdh5.16.2+196 Hadoop 2.6.0+cdh5.16.2+2863 MapReduce 1 2.6.0+cdh5.16.2+2863 HDFS 2.6.0+cdh原创 2022-02-14 11:26:52 · 2907 阅读 · 0 评论
分享