数据治理-Atlas元数据管理 基础介绍及使用

Apache Atlas是一款用于数据治理的元数据管理系统,依赖于JanusGraph、HBase和Solr。核心功能包括API和基于Kafka的消息接口,支持与Hive、Sqoop、Falcon、Storm等元数据源的集成。其特性涉及数据分类管理、搜索与血缘管理。安装过程中需单独部署Zookeeper、Kafka、HBase和Solr。Atlas提供Web UI进行元数据创建、搜索和分类管理,可以通过hook或API注入元数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

数据治理-Atlas元数据管理
数据资产的管理系统(数仓元数据管理系统)

atlas 的底层存储 :janusGraph 图数据库 --(依赖于hbase 和 solr)

atlas的核心功能层: core --相当于javaee里面的service层

atlas对外提供服务的一层:integration(api层) --相当于javaee里面的 controller层

外界要将元数据 录入(注入)到 atlas中去,通过kafka进行对接

核心组件
1 Core

Atlas 使用 JanusGraph图数据库来存储元数据对象。 JanusGraph使用两个存储:默认情况下元数据存储配置为 HBase ,索引存储配置为 Solr。

用户可以使用两种方法管理 Atlas 中的元数据:
API:Atlas 的所有功能都可以通过 REST API 提供给最终用户,允许创建,更新和删除类型和实体。它也是查询和发现通过 Atlas 管理的类型和实体的主要方法。

Messaging:除了 API 之外,用户还可以选择使用基于 Kafka 的消息接口与 Atlas 集成。

Atlas支持与许多元数据源的集成

 Hive:通过hive bridge,可以接入Hive的元数据,包括hive_db/hive_table/hive_column/hive_process

 Sqoop:通过sqoop bridge,可以接入关系型数据库的元数据,包括sqoop_operation_type/ sqoop_dbstore_usage/sqoop_process/sqoop_dbdatastore

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值