Atlas学习笔记（1）—— 基础入门

最新推荐文章于 2025-04-10 09:44:42 发布
原创 最新推荐文章于 2025-04-10 09:44:42 发布
· 1.2k 阅读 · 9 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #Atlas #数据治理 #数据血缘关系

1.概述

Apache Atlas 为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，形成数据字典。并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能

数据字典（Data Dictionary）是信息系统或数据库中的一种工具，用于定义和描述数据的结构、内容及属性，比如从数据字典中，我们可以查到 hive 库的释义，表的介绍以及字段的解释和说明

2.架构原理

3.安装部署

版本：2.1

新特性：

  1. 更新了组件可以使用 Hadoop3.1、Hive3.1、Hive3.0、Hbase2.0、Solr7.5 和 Kafka2.0
  2. 将 JanusGraph 版本跟新为 0.3.1
  3. 更新了身份验证支持可信代理
  4. 更新了指标模块收集通知
  5. 支持 Atlas 增量导出元数据

下载：

  1. Atlas 官网地址：https://atlas.apache.org/
  2. 文档查看地址：https://atlas.apache.org/2.1.0/index.html
  3. 下载地址：https://www.apache.org/dyn/closer.cgi/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

注意：这里下载下来的是源码包，需要自己编译

3.1 环境依赖及集群规划

版本说明：

  1. JDK：1.8
  2. Hadoop：3.1.3
  3. MySQL：5.7.26
  4. Hive：3.1.2
  5. Zookeeper：3.5.7
  6. Kafka：2.4.1
  7. HBase：2.0.5
  8. Solr：7.7.3
  9. Atlas：2.1.0

其中除了Solr和Atlas之外，所有的组件都已经安装过了

3.2 Solr安装

  1. 创建系统用户solr：sudo useradd solr（各个节点都要执行）
  2. 设置密码为solr：echo solr | sudo passwd --stdin solr
  3. 解压安装包
  4. 修改目录所有者为solr：sudo chown -R solr:solr /opt/module/solr-7.7.3
  5. 修改zookeeper的host：vim /opt/module/solr-7.7.3/solr.in.sh，设置：ZK_HOST="hadoop112:2181,hadoop113:2181,hadoop114:2181"
  6. 分发组件到各个节点
  7. 启动solr：sudo -i -u solr/opt/module/solr-7.7.3/bin/solr start（所有节点上都要执行）

-i 表示模拟登录用户环境。

-u solr 指定以 solr 用户身份运行

  1. 访问web ui：http://hadoop112:8983（任意一个节点的ip都可以）

注意：

出现cloud菜单栏才说明部署成功

3.3 Atlas安装部署

安装很简单，解压apache-atlas-2.1.0-server.tar.gz包即可

3.3.1 集成HBase

修改atlas-application.properties文件：

atlas.graph.storage.hostname=hadoop112:2181,hadoop113:2181,hadoop114:2181

修改atlas-env.sh文件，添加：

export HBASE_CONF_DIR=/opt/module/hbase-2.0.5/conf

3.3.2 集成 Solr

修改atlas-application.properties文件：

atlas.graph.index.search.solr.zookeeperurl=hadoop112:2181,hadoop113:2181,hadoop114:2181

然后创建solr collection：


sudo -i -u solr /opt/module/solr-7.7.3/bin/solr create -c vertex_index -d /opt/module/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr /opt/module/solr-7.7.3/bin/solr create -c edge_index -d /opt/module/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2
sudo -i -u solr /opt/module/solr-7.7.3/bin/solr create -c fulltext_index -d /opt/module/atlas-2.1.0/conf/solr -shards 3 -replicationFactor 2

参数解析：

  • -c <collection_name>：指定要创建的集合名称
  • -d <config_path>：指定集合的配置文件路径
  • -shards <num_shards>：指定分片数量（shards），决定集合在 Solr 集群中分布的物理分片数
  • -replicationFactor <num_replicas>：指定每个分片的副本数（replicas）

在Graph中可以看到各个集合成功创建：

3.3.3 集成 Kafka

修改atlas-application.properties文件：

# 设置是否在 Atlas 内部启用嵌入式的通知服务，这里设置为false，即可使用外部配置的通知服务（Kafka）
atlas.notification.embedded=false
atlas.kafka.data=/opt/module/kafka-2.4.1/datas
atlas.kafka.zookeeper.connect=hadoop112:2181,hadoop113:2181,hadoop114:2181/kafka
atlas.kafka.bootstrap.servers=hadoop112:9092,hadoop113:9092,hadoop114:9092

3.3.4 Atlas Server 配置

修改atlas-application.properties文件：

######### Server Properties #########
atlas.rest.address=http://hadoop112:21000
# If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false
######### Entity Audit Configs #########
atlas.audit.hbase.tablename=apache_atlas_entity_audit
atlas.audit.zookeeper.session.timeout.ms=1000
atlas.audit.hbase.zookeeper.quorum=hadoop112:2181,hadoop113:2181,hadoop114:2181

为了记录性能指标，可以修改atlas-log4j.xml文件，去掉以下这部分代码的注释：

<appender name="perf_appender" 
  class="org.apache.log4j.DailyRollingFileAppender">
  <param name="file" value="${atlas.log.dir}/atlas_perf.log" />
  <param name="datePattern" value="'.'yyyy-MM-dd" />
  <param name="append" value="true" />
  <layout class="org.apache.log4j.PatternLayout">
    <param name="ConversionPattern" value="%d|%t|%m%n" />
  </layout>
</appender>
<logger name="org.apache.atlas.perf" additivity="false">
  <level value="debug" />
  <appender-ref ref="perf_appender" />
</logger>

3.3.5 集成 Hive

修改atlas-application.properties文件，添加如下内容：

######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

参数详解：

  1. atlas.hook.hive.synchronous
  • 含义：控制 Hive Hook 是否以同步方式执行。
  • 默认值：通常为 false。
  • 值的作用：
    • false（异步）：Hive 元数据的捕获和传递会在后台线程中执行。适合生产环境，避免因为 Atlas Hook 的延迟影响 Hive 操作的执行
    • true（同步）：Hive 元数据的捕获和传递在 Hive 操作中同步完成。适合开发和调试环境，但可能会增加 Hive 操作的延迟
  1. atlas.hook.hive.numRetries
  • 含义：控制 Hive Hook 在元数据传递失败时的重试次数。
  • 默认值：3。
  • 值的作用：
    • 指定当元数据传递到 Atlas 服务失败时，重试的次数。
    • 如果所有重试都失败，元数据操作可能会被丢失，具体行为取决于 Atlas 的容错机制。
  • 使用场景：当网络不稳定或 Atlas 服务暂时不可用时，通过设置合理的重试次数可以减少元数据丢失的风险。
  1. atlas.hook.hive.queueSize
  • 含义：设置 Hive Hook 用于存储待处理元数据事件的队列大小。
  • 默认值：10000。
  • 值的作用：
    • 决定 Hook 中用于缓冲 Hive 操作事件的队列容量。
    • 如果事件队列满了，新事件可能会被丢弃（视实现而定），因此需要根据 Hive 操作的并发度和 Atlas 的处理能力调整该值。
  • 注意事项：过大的队列可能占用较多内存，而过小的队列可能导致事件丢失。
  1. atlas.cluster.name
  • 含义：设置 Atlas 集群的名称。
  • 默认值：primary。
  • 值的作用：
    • 指定当前 Atlas 集群的唯一标识。
    • 在多集群环境中，用于区分不同的 Atlas 实例。例如，当多个 Hive 环境都注册到同一个 Atlas 时，可以通过集群名称区分不同的来源。
  • 使用场景：
    • 在多数据中心或多环境部署时，通过 atlas.cluster.name 可以有效区分元数据的来源。

修改hive-site.xml文件，添加如下内容：

<property>
 <name>hive.exec.post.hooks</name>
 <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

然后安装hive hook：

  1. 解压apache-atlas-2.1.0-hive-hook.tar.gz
  2. 将 Hive Hook 依赖复制到 Atlas 安装路径：cp -r apache-atlas-hive-hook-2.1.0/* /opt/module/atlas-2.1.0/，复制完成后Atlas的安装路径下应有两个目录：hook和hook-bin

然后修改hive-env.sh配置文件，添加如下配置（用于加载辅助 JAR 文件 ）：

export HIVE_AUX_JARS_PATH=/opt/module/atlas-2.1.0/hook/hive

最后将atlas-application.properties配置文件拷贝到hive的conf目录下：cp /opt/module/atlas-2.1.0/conf/atlas-application.properties /opt/module/hive-3.1.3/conf/

3.4 Atlas启动

  1. 启动Hadoop集群
  2. 启动Zookeeper集群
  3. 启动Kafka集群
  4. 启动HBase集群
  5. 启动 Solr 集群
  6. 启动Atlas服务：进入安装路径后执行：bin/atlas_start.py

停止的脚本为atlas_stop.py

需要注意的是初次启动时需要进行各项初始化操作，所需时间比较长，因此可以通过tail -f命令监听Atlas安装路径下的logs/application.log文件，指导不再继续输出日志，说明成功启动；同时也可以起到查看是否发生报错的作用

  1. 访问Web UI：http://hadoop112:21000

用户名和密码都是admin

4.简单使用

Atlas 的使用相对简单，其主要工作是同步各服务（主要是 Hive）的元数据，并构建元数据实体之间的关联关系，然后对所存储的元数据建立索引，最终为用户提供数据血缘查看及元数据检索等功能。

4.1 Hive元数据初次导入

执行以下脚本即可导入当前hive中的所有元数据：

/opt/module/atlas-2.1.0/hook-bin/import-hive.sh

适用于数仓已经有了一定规模，但是Atlas刚刚搭建起来的情况，可以一次性将hive的元数据全部导入atlas中

4.2 Hive元数据增量同步

Atlas启动后，Hive 元数据的增量同步无需人为干预，只要 Hive 中的元数据发生变化（执行 DDL 语句），Hive Hook 就会将元数据的变动通知 Atlas。

除此之外，Atlas 还会根据 DML 语句获取数据之间的血缘关系

创建两张表：订单事实表和地区维度表：

CREATE TABLE dwd_order_info (
 `id` STRING COMMENT '订单号',
 `final_amount` DECIMAL(16,2) COMMENT '订单最终金额',
 `order_status` STRING COMMENT '订单状态',
 `user_id` STRING COMMENT '用户 id',
 `payment_way` STRING COMMENT '支付方式',
 `delivery_address` STRING COMMENT '送货地址',
 `out_trade_no` STRING COMMENT '支付流水号',
 `create_time` STRING COMMENT '创建时间',
 `operate_time` STRING COMMENT '操作时间',
 `expire_time` STRING COMMENT '过期时间',
 `tracking_no` STRING COMMENT '物流单编号',
 `province_id` STRING COMMENT '省份 ID',
 `activity_reduce_amount` DECIMAL(16,2) COMMENT '活动减免金额',
 `coupon_reduce_amount` DECIMAL(16,2) COMMENT '优惠券减免金额',
 `original_amount` DECIMAL(16,2) COMMENT '订单原价金额',
 `feight_fee` DECIMAL(16,2) COMMENT '运费',
 `feight_fee_reduce` DECIMAL(16,2) COMMENT '运费减免'
) COMMENT '订单表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

CREATE TABLE dim_base_province (
 `id` STRING COMMENT '编号',
 `name` STRING COMMENT '省份名称',
 `region_id` STRING COMMENT '地区 ID',
 `area_code` STRING COMMENT '地区编码',
 `iso_code` STRING COMMENT 'ISO-3166 编码，供可视化使用',
 `iso_3166_2` STRING COMMENT 'IOS-3166-2 编码，供可视化使用'
) COMMENT '省份表'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

然后进行数据装载，将相关文件上传到hive表的hdfs路径下即可

建表完成后，可以从atlas中看到这两张表：

4.3 生成血缘依赖

此时这两张表并没有任何的关联，也就是不存在血缘关系，我们可以点开一张表，查看其Lineage，结果为空：

于是我们接下来基于这两张表计算一个需求指标：每个省份的订单次数和订单金额

创建ads层的表：

CREATE TABLE `ads_order_by_province` (
 `dt` STRING COMMENT '统计日期',
 `province_id` STRING COMMENT '省份 id',
 `province_name` STRING COMMENT '省份名称',
 `area_code` STRING COMMENT '地区编码',
 `iso_code` STRING COMMENT '国际标准地区编码',
 `iso_code_3166_2` STRING COMMENT '国际标准地区编码',
 `order_count` BIGINT COMMENT '订单数',
 `order_amount` DECIMAL(16,2) COMMENT '订单金额'
) COMMENT '各省份订单统计'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

然后进行数据装载：

insert into table ads_order_by_province
select
 '2021-08-30' dt,
 bp.id,
 bp.name,
 bp.area_code,
 bp.iso_code,
 bp.iso_3166_2,
 count(*) order_count,
 sum(oi.final_amount) order_amount
from dwd_order_info oi
left join dim_base_province bp
on oi.province_id=bp.id
group by bp.id,bp.name,bp.area_code,bp.iso_code,bp.iso_3166_2;

数据装载完成后，即可看到血缘关系依赖：

可以看到我们的需求指标表依赖于订单事实表和地区维度表

同时也可以查看字段的血缘关系依赖：

如图，order_amount这一字段是通过订单事实表中的final_amount计算而来

学习教程链接：Atlas ，相关安装包在评论区有获取方式

《深度学习》：CANN训练营_昇腾AI入门课学习笔记（第二章 TensorFlow模型迁移&训练）
MAVER1CK的博客
10-24 1256
CANN训练营_昇腾AI入门课学习笔记（第二章 TensorFlow模型迁移&训练）
Apache atlas 的入门教程
热门推荐
cafebar123的专栏
04-14 4万+
笔者最近参加了2场大数据技术开放活动，在技术分享的时候，发现，2场分享活动，有人不约而同的推荐了Apache atlas 组件，所以，就像介绍一下这个组件。Apache atlas 是个什么样的工具？它有哪些功能和作用？ 其实，在本人之前的文章中有介绍，它是一个用在hadoop上的数据治理和元数据框架工具。它是基于hadoop平台上，能无缝对接hadoop平台的组件。前端UI默认使用solr5，...
apache atlas 快速入门
06-07 1135
快速入门
ATLAS 项目使用教程
最新发布
gitblog_00898的博客
04-10 881
ATLAS 项目使用教程 ATLAS A principled instruction benchmark on formulating effective queries and prompts for large language models (LLMs). Our paper: https://arxiv.org...
Apache Atlas 安装及入门
鸭梨的博客
01-22 577
介绍 Apache Atlas 用来管理hive元数据 安装 # 解压更名 tar xvfz apache-atlas-1.0.0-sources.tar.gz cd apache-atlas-sources-1.0.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr 启动 参考 Apache Atlas – Building & Installing Apach
Atlas
sduliulun的专栏
01-07 1615
看看阿里的动态组件化： https://github.com/alibaba/atlas/tree/master/atlas-docs 背景： 现在项目中都追求模块化开发、组件化开发。一个是避免代码重复开发（重复造轮子），另一个是方便维护和项目集成。 Android 项目有方法数的限制（常说的64K限制），如果项目太大或者引用了太多的三方库（依赖库的方法数量也会计算在64k中）。...
Atlas快速入门之实战Atlas
ark1111的专栏
09-21 1664
 随着ajax技术的出现，web 2.0时代已经来临，目前已经涌现了大量的web 2.0的网站，比如live.com,fclickr相册网站，google Map等等。那什么是ajax呢？AJAX技术其实是旧瓶装新酒了，它使用了异步JavaScript+XML。这种技术首先由微软在1999年引入，并以"使用远程调用的DHTML/JavaScript web应用程序"著称。这一技术的基本思想是，允许
昇腾Atlas200DK学习笔记（一）——环境部署
Stretch9776的博客
10-16 1万+
1 昇腾AI解决方案介绍 视频：课程地址 1.1 华为全栈全场景 1.2 Ascend系列处理器 310处理器用在 推理场景，910处理器用在 训练场景 1.3 Atlas系列产品 2 环境部署（Atlas200DK） 视频：课程地址 参考：Atlas200DK分设系列第一章–20.0.RC1版本安装指南 2.1 初见开发板 2.2 开发&运行环境搭建总览 2.2.1 安装ubuntu18.04 2.2.2 配置ubuntu环境 用户权限配置 普通用户安装开发套件，需要有sudo权限，所
大数据课程00——[基础篇]大数据学习入门
u013955758的专栏
07-09 683
大数据地学习方向（hadoop, zookeeper, hive, flume && sqoop, azkaban && oozie, 数仓建模理论+实践, hbase, redis, kafka, elk, scala, spark, kylin, flink, 实时数仓项目）、大数据就业方向(数仓工程师、数据开发工程师、ETL工程师、数据分析工程师)
目标检测学习笔记（一）——YoloV4环境配置及代码实现
Stretch9776的博客
06-28 2913
文章目录前言环境配置参考一、yoloV3算法原理及实现yolov3 算法原理主干提取网络 Darknet53 介绍残差网络Darknet53预测部分训练部分其他参考二、YoloV4 算法原理YOLOV4改进的部分主干特征提取网络Backbone三、YoloV4 算法程序实现1 训练及预测步骤训练 P10VOC2007文件夹 和 voc2yolo4.pyvoc_annotation.pytrain.py预测 P11yolo.py 代码修改predict.py 预测说明train.py 参数说明P12coun
【CANN训练营0基础赢满分秘籍】 直播课笔记 2023.3.16 零基础带你入门昇腾AI（上）
星火飞花
04-08 506
晟腾AI处理器的计算核心主要由 AI Core构成，其基本结构如下图所示，包括了三种基础计算资源：矩阵计算单元、向量计算单元和标量计算单元。将基于PyTorch的训练脚本迁移到晟腾AI处理器上进行训练，目前有以下三种方式：自动迁移（推荐）、工具迁移、手工迁移，且迁移前要保证该脚本能在GPU、CPU上运行。自动迁移：训练时，在训练脚本中导入脚本转换库，导入后执行训练。训练脚本在运行的同时，会自动将脚本中的CUDA接口替换为晟腾AI处理器支持的NPU接口。整体过程为：边训练边转换。
atlas-project.rar
03-11
Spring Boot集成MyBatis实现通用Mapper，用的是 <dependency> <groupId>tk.mybatis</groupId> <artifactId>mapper</artifactId> <version>3.4.0</version> </dependency> 用了这个通用Mapper后，很多基础的方法，如：selectByPrimaryKey()等等，都不用写了，也不用自动生成了，等于自带了这些方法； 还用了lombok(for entity)：自动生成实体类的get/set方法，以及构造函数等； 还有HikariCP：是数据库连接池的一个后起之秀，号称性能最好，可以完美地PK掉其他连接池。 增加了工具类JsonUtils，便于POJO和JSON之间的相互转换。
解析atlas文件
skillart的专栏
10-30 2万+
有些引擎比如libgdx打包图片资源时，是atlas。 想获取资源就要解析了。把这个文件放到要解析的资源文件夹下面编译输入要解析的文件名就可以了。 # -*- coding: utf-8 -*- import os import sys import os.path import shutil import Image fileName = raw_input('输入要解析的文件名:'
Atlas安装及使用
互联网知识分享
08-09 1311
它基于力导向布局算法实现，通过模拟节点之间的相互作用力和斥力，使得节点能够在布局中达到平衡状态。力导向布局是一种基于物理模型的布局算法，它模拟了节点之间的相互作用力和斥力，使得节点在布局中能够达到一个平衡状态。库实现了力导向布局算法，通过设置不同的布局参数，可以控制布局的样式和行为，包括布局类型、迭代次数、缩放比例和随机种子等。是一个开源的自动图形布局工具，可以用于生成各种类型的图形布局，如力导向布局、层次布局、环形布局等。计算节点之间的相互作用力，相互作用力的大小取决于节点之间的连接关系。
老鼠之Atlas之旅：快速入门之名字空间
weixin_33861800的博客
11-09 124
Atlas的Javascript扩展：名字空间(NameSpace) 名字空间使你能够把一些公共的功能性函数组合到同一个名字空间中，下面的这个例子将告诉你怎么样把Person这个类添加到名字空间Demo里头，使用的方法是:Type.registerNamespace和Type.registerClass. 首先我们还是那几个实验的所做的站点内添加个页面。 我们首先添加个js文件，他的主要功能是注册...
Apache Atlas 安装部署
Nice的博客
07-17 3524
atlas 安装部署采坑记录
Atlas开发环境部署(本地编译)和生产环境部署
Do_BUG的博客
07-13 2246
Atlas开发环境部署（本地编译）和生产环境部署 详细过程
atlas安装以及问题整理
javaThanksgiving的博客
05-05 2362
Atlas安装：solr版本：8.11.2atlas版本：2.1.0maven版本：3.5.4jdk8一、 SOLR安装1、Solr官网https://solr.apache.org/downloads.html下载8.11.2版本solr（solr版本需要和atlas进行版本匹配）2、上传到服务器。3、tar -zxvf solr-8.11.2.tgz 进行解压4、修改solr ZK_HOST配置信息5、启动solr。
元数据管理atlas导入hive和hbase元数据以及生成血缘
永无止境
06-21 5174
本文主要讲解导入hive和hbase元数据遇到的坑，以及hive生成列血缘遇到的问题和解决方式。 Atlas版本0.8.4 Hive版本1.2.1 HBase版本1.3.1 1.安装和集成 略 服务名称 子服务 HDP-001 HDP-002 HDP-003 HDP-004 HDP-005 HDP-006 HDP-
Atlas学习指南：从基础到实战
"Atlas学习指南.pdf" 这是一份关于Atlas框架的详细学习指南，由博客园作者Dflying编著。Atlas是微软开发的一个用于构建动态Web应用程序的库，它专注于增强ASP.NET的客户端功能，特别是JavaScript交互和AJAX技术。这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

THE WHY

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值