Apache atlas 元数据管理系统编译过程

Apache Atlas源码编译以及本地调试环境搭建 一、Apache Atlas源码的编码 内置HBase、solr git把Atlas的源码拉下来,使用git clone https://github.com/apache/atlas.git 假如是为了本地测试我们可以直接编译内嵌HBase solr的atlas。在执行mvn clean -DskipTests package -Pdist,embedded-hbase-solr之前需要首先修改打包的pom文件不然有的包下载不下来。将Atlas源码中distro中的pom文件修改如下将hbase.tar 阅读详情

编译准备:

1.安装jdk-1.8

   配置环境变量

2.安装maven 3.0

   下载到 /opt/maven/apache-maven-3.5.4-bin.tar.gz

   解压maven:cd /opt/maven && tar -zxvf apache-maven-3.5.4-bin.tar.gz

   新建软链:ln -s /opt/maven/apache-maven-3.5.4/bin/mvn /usr/bin/mvn

 

3.下载atlas源码(最新版1.1版本,目前编译成功的是0.8版本)

   开始编译:

    1.  export MAVEN_OPTS="-Xms2g -Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

    2. export JAVA_HOME=/home/b/atlas/pkg/jdk1.8.0_191

    3. mvn -clean -DskipTests package -Pdist,embedded-hbase-solr

  注意:-clean 参数,是第一编译时候使用,后续不用再加参数,这样无需再次编译已经编译通过的部分;

              要在atlas目录下执行命令;

坑错解决

1.编译到UI部分时候,遇到“npm install”

ßnpm被墙,所以更换到阿里云maven仓库

第一步:修改mirror;

 

Failed to execute goal on project atlas-graphdb-janus: Could not resolve dependencies for project org.apache.atlas:atlas-graphdb-janus:jar:1.1.0: Could not find artifact com.sleepycat:je:jar:7.4.5 in nexus (http://maven.aliyun.com/nexus/content/groups/public/)

解决:先安装nodejs本地;下载解压:node-v10.14.2-linux-x64

配置:sudo ln -s /home/b/atlas/pkg/node-v10.14.2-linux-x64/bin/node /usr/bin/node

     sudo ln -s /home/b/atlas/pkg/node-v10.14.2-linux-x64/bin/npm /usr/bin/npm

测试:npm -v;node -v

注意:有时可能还会过不去,因为可能是nodejs版本太新;

 

坑错2: 被killed

解决:思前想后,认为这个killed可能是编译时候超出内存,比如对内存的原因,所以要加参数:

          -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

坑错3: 网络问题编译不过如下图

解决:这里需要根据情况切换maven的仓库:阿里云和apache_central

1.在前面基础部分,可以配置阿里云(setting.xml)下载依赖吧飞速;当遇到阿里云not find时候可以再切换到默认仓库,即注释掉你配置的阿里云即可

 

最后:编译成功:

 

 

元数据与数据治理|apache-atlas2.0.0 源码编译和安装部署(CHD版本) 1.文档地址: 官网地址:https://atlas.apache.org/ 文档地址:https://atlas.apache.org/2.0.0/index.html 下载地址:https://www.apache.org/dyn/closer.cgi/atlas/2.0.0/apache-atlas-2.0.0-sources.tar.gz 2.A... 阅读详情

相关推荐

数据治理-Atlas元数据管理 基础介绍及使用

数据治理-Atlas元数据管理 数据资产的管理系统(数仓元数据管理系统) atlas 的底层存储 :janusGraph 图数据库 --(依赖于hbase 和 solr) atlas的核心功能层: core --相当于javaee里面的service层 atlas对外提供服务的一层:integration(api层) --相当于javaee里面的 controller层 外界要将元数据 录入(注入)到 atlas中去,通过kafka进行对接 核心组件 1 Core Atlas 使用 JanusGr

湖中屋的博客 2184

Apache Atlas元数据管理从入门到实战

课程概述: 本课程是大数据全栈工程师实战课程之一,有具有十几年一线技术研发经验的资深数据专家讲师录制,通过一个完整开源框架Apache Atlas元数据管理平台的系统介绍,带领大家体验元数据管理的系统架构、功能设计、模型设计和交互设计。课程内容包括:1个开源框架、5大知识领域,带你体验元数据管理系统从安装部署、系统集成到案例实战的过程。

【信息科学与工程学】【数据科学】数据科学领域-第十一篇 数据集成算法01

​​降低维护成本​​:通过抽象通用流程(如),当需要修改故障注入逻辑(如更换混沌工具)时,只需修改一处代码,无需修改所有测试用例;​​提升扩展性​​:通过参数化故障场景(如),可快速生成新的故障用例(如针对新服务的延迟故障),适应系统迭代需求;​​增强场景真实性​​:通过组合混沌操作(如),模拟真实生产环境中的复杂故障链(如“网络延迟+服务宕机”),更准确地验证系统韧性;​​提高分析效率​​:通过自动化结果分析(如),快速获取MTTR、错误率等关键指标,减少人工分析时间。

weixin_49199313的博客 952

在CentOS下编译/打包/安装APACHE-ATLAS-2.1.0

在CentOS下编译/打包/安装APACHE-ATLAS-2.1.0

记录并分享 427

Apache Atlas集成Spark SQL与HBase实现数据血缘分析实战

当你写下一句 SQL:Spark 并不会直接去扫描文件。它要先经过一个叫Catalyst 优化器的编译过程。这个过程分为四步:Parsing:把 SQL 字符串解析成 AST(抽象语法树)Analyzing:绑定表名、字段名,检查是否存在:应用谓词下推、列裁剪等规则:生成可执行的物理计划重点来了——在整个过程中,有一个组件叫,它就像数据库的“户口本”,记录了每张表的 Schema、分区信息、统计量等等。元数据项来源组件用途说明。

weixin_31486261的博客 481

apache-atlas-2.1.0源码编译包

atlas是apache旗下的元数据管理软件,可以和大部分大数据组件集成,从而管理所有数据信息的元数据,方便后续数据资产的管理,官网只存在源码文件包,此处将源码在linux系统下完成编译,方便各位使用

Apache Atlas 源码跟踪和修改- entity的relationship查询无序问题

Apache Atlas源码跟踪和修改之entity实体的relationship属性数据无序问题

GuessBUG的博客 1265

终端效率神器:Tmux 安装与使用全指南

终端效率神器:Tmux 安装与使用全指南

身在被窝_心在编程 1357

Apache Atlas 编译及安装记录

1、环境准备 atlas现在是市场很受欢迎的数据管理工具,但是atlas的下载完是一个源码的项目,无法直接使用,所以要对源码进行编译(就是由源程序到目标程序的过程内含代码生成、代码集成、语法分析、词法分析、依赖下载)后才能安装使用。 linux 但是编译过程中要通过网络下载相应的依赖包,所以内网环境下的服务器暂时用不了,所以我采用的是腾讯云的云服务器。 JDK 8安装 下载地址 https://www.oracle.com/java/technologies/downloads/#java8 下载:

快乐星球 2302

Keil5 安装与卸载全攻略:从零开始到完美避坑

本文提供了Keil5集成开发环境的完整安装与卸载指南。针对嵌入式开发新手,详细解析了安装前的关键准备、MDK核心与C51双环境的安装激活步骤、常见问题排查,并重点介绍了如何彻底卸载软件以避免残留问题,帮助用户从零开始搭建稳定高效的开发环境。

weixin_29172963的博客 636

用STM32F103C8T6和TB6612驱动模块,从零搭建一辆能避障循迹的智能小车(附完整代码)

本文详细介绍了如何使用STM32F103C8T6和TB6612驱动模块从零搭建一辆能避障循迹的智能小车。内容涵盖硬件选型、电路设计、底层驱动配置以及智能行为算法实现,并附有完整代码示例,帮助开发者快速掌握嵌入式开发的核心技术。

weixin_42641741的博客 444

Apache atlas集成CDH管理元数据

先简单说明一下元数据管理的重要性,做数仓的时候,自然就会有很多报表,当你有几百个报表,几千张表的时候,现在有个需求需要修改一个表,然后有人问你,修改这个表会影响哪些报表? 如果你仅仅凭借记忆是完全不可行的,必须要有一个平台来管理数据的数据。 知道了元数据的意义,那么从技术角度要做到什么程度才算是一个好的元数据管理呢? 从我个人的认知,表的元数据必须做到字段级别,也就是说修改了一个字段,你查询元数...

tom_fans的博客 1万+

NV 英伟达2022数字芯片笔试题

作者:数字IC打工人 链接:【开卷】第27期 NV 英伟达2022数字芯片笔试题_笔经面经_牛客网 来源:牛客网 1、Single Choice: Given thefollowing FIFO and rules, how deep does the FIFO need to be to preventunderflow or overflow? RULES: clk_A=25MHz; clk_B=100MHz; en_B is periodically asserted: period.

weixin_44072819的博客 6386

大数据之Atlas元数据管理

背景: 公司做数据仓库时,管理自己多张表时,需要使用元数据管理系统进行管理。 更多java、大数据学习面试资料,请扫码关注我的公众号:

大数据同盟会的博客 6853

VMware Ubuntu虚拟机突然断网?我用5步彻底解决了(附避坑指南)

Ubuntu虚拟机断网问题通常由网络配置冲突和VMware服务未正确绑定导致。本文提供5步解决方案:1)清理Ubuntu重复有线连接;2)重启Windows主机的VMware服务;3)检查VMware虚拟网络配置;4)重新配置Ubuntu网络参数;5)测试网络连通性。关键避坑点包括:避免多连接共存、修改配置后必重启服务、确保虚拟网卡绑定主机。通过"网卡状态→IP/路由→网关→服务"的排查思路,可快速解决虚拟机网络故障。文末附有详细的故障症状对照表,便于快速定位问题。

m0_58530495的博客 626

WS2812B非标准通信协议:手把手实现精准时序控制

详解WS2812B的精准时序实现原理,剖析其非标准通信协议的关键细节。通过实际操作指导,帮助开发者稳定驱动ws2812b灯带,解决常见时序偏差问题,提升项目显示效果与响应一致性。

weixin_42584586的博客 584

apache atlas编译坑

apache atlas编译坑简介maven配置frontend-maven-plugin配置maven-site-plugin插件配置结语 简介 元数据管理是数仓的重要组成部门,一直在寻找一个开源的元数据管理系统,知道遇见apache atlas。 网上碰到的教程让我欣喜若狂,知道自己上手,遇到一堆坑。这篇文章写在上手的第三天,希望能帮到现在以及以后遇到这些坑的同学,对现在网上那些教程的作者致以崇高的鄙视。 apache atlas的编译严重依赖网络速度,或者说网络速度是编译成功的关键。

zhyajshhz的专栏 825

结构函数详解

C3M系列覆盖从1 kW到60 kW功率范围,器件Rdson低、开关速度快(Eon/Eoff低),支持高温工作(结温高达175–225°C)。型号电压 (V)Rdson (mΩ, 典型@25°C)电流 (A, 连续@25°C)封装类型典型应用功率 (kW)65012022TO-247-41–106506035TO-247-35–2065060355–2012002180TO-247-310–40120016100TO-247-420–601200。

专注于前沿技术的探索与实践,热衷于从代码逻辑、架构设计到行业应用等多维度深挖技术本质。期待在技术之路上与你共同成长~ 150

大数据 元数据管理 apache atlas

随着公司数据量的增多,Hive表已经有近千个,为了方便使用和管理,这时候需要一个“元数据管理系统”。 经过搜索,目前开源的Apache Atlas比较符合要求,准备搭建起来试试 网上有很多入门的文章,官网也有介绍,但是… 花了快一天的时间竟然没运行起来! 编译耗时很久,报错… 依赖Zookeeper,Hbase,Solr… 只需要管理下元数据要这么复杂吗? 看了下源码,主项目下面有一堆子项目,子项目里还有子项目… 应该有个精简版,能快速上手,然后根据需要逐步增加复杂的功能

flywind800的博客 588

人员行为规范检测:YOLOv8+C#实现工厂车间安全监控,违规即报警零延迟

该方案通过YOLOv8的装备检测与姿态估计的动作识别,结合C#的实时管控能力,实现了从“被动巡检”到“主动预警”的转变。相比传统人工,违规响应速度提升10倍,全年可减少90%以上的安全隐患。方案已在3家制造企业落地,支持自定义违规规则(如新增“吸烟”“未系安全带”),可根据车间场景灵活扩展。需要完整的模型训练配置文件(含数据集增强脚本)或C#系统源码(视频处理+报警模块)的,评论区扣“SafetyDetect”,可直接获取部署版本~

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1174

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

如何使用awesome-bigdata构建高效元数据管理系统:数据字典与目录服务完全指南

awesome-bigdata是一个精心策划的大数据框架、资源和其他精彩内容的列表,为数据从业者提供了全面的工具和技术支持。在当今数据驱动的世界中,有效的元数据管理对于组织充分利用其数据资产至关重要。本文将详细介绍如何利用awesome-bigdata项目中的资源来构建强大的元数据管理系统,重点关注数据字典和目录服务的实现。 ## 元数据管理的核心组件 元数据管理系统通常包含多个关键组件,这些

gitblog_00490的博客 550

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

视频教程-Apache Atlas元数据管理从入门到实战-大数据

Apache Atlas元数据管理从入门到实战 数据产品讲师,人工智能探索者...

weixin_32581641的博客 1039

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

atlas安装需要kafka吗_图解 atlas 在 CDH 集群上的部署

导语:atlas是开源的元数据管理系统,其包含了元数据治理的基本功能;包括对术语和标签的定义、数据血缘的记录、元数据的采集等功能。对于了解元数据的治理系统的构建过程具有参考意义。本文从实际搭建角度列出一些注意事项,以帮助调研元数据系统的开发者少走弯路。一、修改依赖的kafka版本1、出现的错误由于atlas官网用的kafka官网版本1.0.0,而CDH上用的是0.9.0-kafka-2.0.2版本...

weixin_32460203的博客 421

cdh hive mysql5.7.13_技术文档:CDH 5.13.3 Hive整合atlas进行元数据管理

2019年的一篇旧文,内容中涉及版本相对陈旧,分享出来希望对大家有所帮助。1. Atlas简介简单说明一下元数据管理的重要性,做数仓的时候,自然就会有很多报表,当你有几百个报表,几千张表的时候,现在有个需求需要修改一个表,然后有人问你,修改这个表会影响哪些报表? 如果你仅仅凭借记忆是完全不可行的,必须要有一个平台来管理数据的数据。知道了元数据的意义,那么从技术角度要做到什么程度才算是一个好的元数据...

weixin_36074271的博客 477

Atals元数据治理-介绍/编译/安装

介绍 Atlas 是一组可扩展且可扩展的核心基础治理服务,使企业能够高效、高效地满足 Hadoop 内的合规性要求,并允许与整个企业数据生态系统集成。Apache Atlas 为组织提供开放的元数据管理和治理功能,以构建其数据资产目录,对这些资产进行分类和治理,并为数据科学家、分析师和数据治理团队提供围绕这些数据资产的协作功能。 特性介绍 Metadata types & instances 预定义了许多Hadoop以及non-Hadoop元数据的types 允许给Metadata定义新的t

麦田里的守望者-蒋中洲【相信相信的力量】 808

【免费下载】 ApacheAtlas:元数据管理的强大工具

Apache Atlas是一款功能强大的元数据管理工具,提供数据治理和分类。 ## 项目介绍 在当今大数据时代,有效的数据管理和治理变得至关重要。Apache Atlas正是一个针对这一需求而生的开源项目,旨在帮助企业和开发人员高效地管理和治理其数据元信息。本文档将为您详细介绍Apache Atlas的架构、功能、使用方法及其与Hive和Spark的整合过程。 Apache Atlas的主要...

gitblog_06764的博客 360
上一篇: 虚拟机网络连接方式或parallels Desktop
下一篇: Apache-Flink 中文社区-交流群
Debug_Snail
博客等级 码龄12年 96粉丝 50原创
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值