手把手教程Atlas安装与使用

Apache Atlas 是一个用于Hadoop环境的元数据管理和治理工具,本文详细介绍了在Apache Hadoop环境下,如何安装配置Atlas 2.0,包括集成外部HBase、Solr、Kafka、Hive等步骤,并提供了启动和使用教程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Atlas为组织提供开放式元数据管理和治理功能,用以构建其数据资产目录,对这些资产进行分类和管理,并为数据分析师和数据治理团队,提供围绕这些数据资产的协作功能。本文就介绍Atlas在Apache Hadoop环境下的安装。

1)表与表之间的血缘依赖

2)字段与字段之间的血缘依赖

 

02

PART

特性与环境准备
 

 Atlas2.0特性

(1)更新了组件可以使用

Hadoop3.1,Hive3.1,Hive3.0,Hbase2.0,Solr7.5和Kafka2.0

(2)将JanusGraph版本更新为0.3.1

(3)更新了身份验证支持可信代理

(4)更新了指标模块收集通知

(5)支持Atlas增量导出元数据

 

准备3台主机,hadoop101,hadoop102,hadoop103。

Atlas安装分为:集成自带的HBase + Solr;集成外部的HBase + Solr。

这里安装采用集成外部Hase+Solr。环境准备如下图

 

服务名称

子服务

服务器

hadoop101

服务器

hadoop102

服务器

hadoop103

HDFS

NameNode

   
 

DataNode

 

SecondaryNameNode

   

Yarn

NodeManager

 

Resourcemanager

 

 

Zookeeper

QuorumPeerMain

Kafka

Kafka

HBase

HMaster

√<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值