ambari代码编译

Ambari 详细使用案例 Ambari 是一款开源的工具,旨在帮助用户管理和监控 AWS 云环境中的虚拟机、容器和其他资源。它提供了一个易于使用的界面,可以帮助用户快速部署和管理云环境中的资源。部署和管理虚拟机和容器。监控和管理云环境中的资源。提供易于使用的界面和 API,方便用户进行资源的管理和监控。支持多种 AWS 服务,如 EC2、EBS、ELB 等。 阅读详情


1.准备环境centos7

一、下载 ambari 2.7.3

我们将 ambari 源码包下载到/opt目录下:

cd /opt
wget https://archive.apache.org/dist/ambari/ambari-2.7.3/apache-ambari-2.7.6-src.tar.gz  # 源码包大小:85.9M,和www-eu.apache.org、mirrors.tuna.tsinghua.edu.cn网站提供的是一个文件,推荐使用
tar zxvf apache-ambari-2.7.3-src.tar.gz
chown -R root:root apache-ambari-2.7.3-src
二、前置工作

版本说明:

工具版本
操作系统CentOS 7
java1.8.0_151
maven3.3.9
rpm-build4.11.3-43.el7.x86_64
gcc-c++4.8.5-39.el7.x86_64
python2.6(系统自带)
python-devel2.7.5-88.el7.x86_64
git1.8.3.1
1、java 安装

需要下载的依赖安装包,在我的云盘已经保存好了,详情点击下载,链接: https://pan.baidu.com/s/13artwjfgi7ikJiKIBbzb7w 提取码: fgia
1)下载安装包

mkdir /usr/java
cd /usr/java
# 将jdk-8u151-linux-x64.tar.gz拷贝到/usr/java目录下
# 解压
tar zxvf jdk-8u151-linux-x64.tar.gz
# 删除tar包
rm -rf jdk-8u151-linux-x64.tar.gz

2)修改配置文件

vim /etc/profile
# 文末添加如下:
# set java
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3)查看版本

java -version
2、maven 安装

1)下载安装包

mkdir /usr/maven
cd /usr/maven
# 将apache-maven-3.3.9-bin.tar.gz拷贝到/usr/maven目录下
# 解压
tar zxvf apache-maven-3.3.9-bin.tar.gz
# 删除tar包
rm -rf apache-maven-3.3.9-bin.tar.gz

2)修改配置文件

vim /etc/profile
# 文末添加如下:
# set mvn
export MAVEN_HOME=/usr/maven/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3)查看版本

mvn -v
3、rpm-build 安装
yum install rpm-build -y
4、gcc-c++ 安装
# centos-7 自带
yum install gcc-c++ -y
5、python-devel 安装
# centos-7 自带
yum install python-devel
6、git 安装
yum install git -y

7、npm 安装
网上下载npm包自行安装
下面是安装好npm后缺少部分bower或gulp我的处理办法 (从一台已经done的机器copy过来)

# 在源机器上打包全局安装包
cd /home/admin/xdliang/node-v10.24.1-linux-x64/lib
tar -czvf npm-global-packages.tar.gz node_modules

# 将压缩包复制到目标机器
scp npm-global-packages.tar.gz user@target-machine:/path/to/destination

# 在目标机器上解压缩包
cd /path/to/node-v10.24.1-linux-x64/lib
tar -xzvf /path/to/destination/npm-global-packages.tar.gz

# 确保 npm 配置正确
npm config set prefix /path/to/node-v10.24.1-linux-x64

# 验证安装
npm list -g --depth=0

三、编译 Ambari
1、maven 镜像源配置

编辑 apache-maven-3.3.9/conf/settings.xml 配置文件,添加好下述镜像源,会提高编译ambari的速度。

<mirrors>
    <mirror>
        <id>alicentral</id>
        <name>aliyun maven central</name>
        <url>https://maven.aliyun.com/repository/central</url>
        <mirrorOf>central,apache.snapshots.https,maven2-repository.dev.java.net,maven2-glassfish-repository.dev.java.net,maven2-repository.atlassian,apache.staging.https,oss.sonatype.org,spring-milestones</mirrorOf>
    </mirror>
    <mirror>
        <id>alipublic</id>
        <name>aliyun maven public</name>
        <url>https://maven.aliyun.com/repository/public</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
</mirrors>
<proxies>
    <proxy>
      <id>default-proxy</id>
      <active>true</active>
      <protocol>http</protocol>
      <host>10.57.22.219</host>
      <port>3128</port>
      <nonProxyHosts>maven.fraudmetrix.cn</nonProxyHosts>
    </proxy>
  </proxies>
  • 最后我改变了xml最好还是用阿里云的镜像
<mirrors>
  <!-- 阿里云镜像 -->
  <mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>central</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
  </mirror>


  <!-- mirror
  | Specifies a repository mirror site to use instead of a given repository. The repository that
  | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
  | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
  |
  <mirror>
  <id>mirrorId</id>
  <mirrorOf>repositoryId</mirrorOf>
  <name>Human Readable Name for this Mirror.</name>
  <url>http://my.repository.com/repo/path</url>
</mirror>
  -->
</mirrors>
2、将 HDP 3.0 和 3.1 文件拷贝到源码中上

在 ambari2.7.6.0 源码里面,是缺少 HDP 3.0 和 3.1 相关目录的,缺失的话,会导致 ambari 在界面部署 hdp 集群时,出现如下图的窘况:

解决办法就是:将 HDP 3.0 和 3.1 目录拷贝到 ambari-server 的源码里面,具体路径:./ambari-server/src/main/resources/stacks/HDP/ 下,这样后面在编译过程中,就会把这俩目录打到ambari-server.rpm包里面了。
HDP 3.0 和 3.1 文件 这里我百度云盘需要自取
链接: https://pan.baidu.com/s/1hpRmZX64lnEB8ONUCC1-sg 提取码: npmo

3、编译命令

编译 ambari 的话,如果有自定义版本号的要求,可以先给 ambari 源码打上自己定义的版本号。打版本号其实就是通过 mvn 命令自动修改 pom.xml 文件里面的 version 值,包括子模块。
然后第二步就是通过 mvn 命令,将 ambari 各模块源码编译,最终得到各自的 rpm 包,类似 hortonworks 官方提供的 ambari 相关 rpm 包。
https://downloads.apache.org/

#编译的时候最好多线程内存足够大去编译
mvn -X -T 8 -DargLine="-Xmx2g -Xms8g"  clean install package rpm:rpm -DnewVersion=2.7.3.0.0 -DskipTests -Dmaven.test.skip=true -Drat.numUnapprovedLicenses=1000 -Dpython.ver="python>=2.6" -Drat.skip -Dcheckstyle.skip
四、编译技巧

ambari 源码分为多个模块,当某个模块编译失败时,我们想继续从这个模块开始编译,怎么做呢?
举个例子,假如 ambari-web 模块编译报错,只需要在编译命令的末尾添加:-rf :ambari-web 即可。当报错时显示的模块名,会在 mvn 输出的最后一行显示。

1.编译Ambari Web报错

Q:
image.png
image.png
A:
image.png
Q:
image.png
A:
没有phantomjs就去安装https://blog.youkuaiyun.com/github_39577257/article/details/106211612?spm=1001.2014.3001.5502
安装过程报错
image.png
安装ruby

sudo yum install ruby

image.png

sudo yum install gperf
2.编译Ambari-admin报错

下一步继续报错
image.png

#配置yum代理
sudo yum install yarn

image.png
重新装这个npm和31.13的保持一致

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
source ~/.bashrc   # 或 source ~/.zshrc
nvm install 10.24.1
nvm alias default node

npm不可用
image.png

npm config set registry https://registry.npmmirror.com

image.png
改一下node version的版本
image.png

Q:image.png
确保你的系统时间和日期是正确的。可以使用以下命令同步时间:

sudo ntpdate pool.ntp.org
npm config set strict-ssl false
yarn config set strict-ssl false

A:
image.png
image.png

Q:/home/tdops/.m2/repository/org/apache/maven/plugins/maven-checkstyle-plugin安装卡死
A: 删除重新安装

image.png

ps aux --sort=-%mem | head -n 10
#内存满了
3.编译Ambari-solar报错

Q:
image.png
A:找不到的版本直接修改成通用版本
image.png

Q:image.png
A:类似这种的删了重新下

4.编译Ambari-infra报错

Q:
image.png

A:

grep -r "central.maven.org" /opt/apache-ambari-2.7.3-src/
#全部改成自己maven中配置的试一下
#http://maven.fraudmetrix.cn/nexus/content/groups/public
5.编译Ambari-metrics hadoop sink报错

Q:image.png
A:一样的问题找出这个/nexus-private-hortonworks替换成本地源

vi /opt/apache-ambari-2.7.3-src/ambari-metrics/pom.xml

image.png

6.编译Ambari-metrics-storm-sink报错

Q:image.png
A:增加一个pom依赖

com.googlecode.json-simple
json-simple
1.1

image.png

7编译Ambari-logsearch-web

Q:
image.png
A:

#设置自己的梯子
yarn config set https-proxy http://10.57.241.28:7890/
yarn config set proxy http://10.57.241.28:7890/
yarn config set registry https://registry.npmmirror.com/
8编译Ambari metrics Collector 报错

Q:
image.png
A:相对应地版本已经找不到了 改成私服对应版本
9.编译Ambari metrics grafana 报错
image.png
A:
离线下载包然后 把文件放某个目录 那个目录起一个python simple server到指定端口
image.png修改指定ambari-metrics/pom.xml成离线安装

nohup python -m SimpleHTTPServer 12345 > server.log 2>&1 &

Q:
image.png
A:

#修改pom
/opt/apache-ambari-2.7.3-src/ambari-metrics/ambari-metrics-timelineservice

image.png

Q:
image.png
image.png

#编码的问题不管他等待
#或者删除有关文件
find /data01/.m2/ -name resolver-status.properties -delete
五、编译成功

image.png

ambari全攻略流程,认识ambari(一) ambari介绍 Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI,由其 RESTful API 提供支持。 Ambari 使系统管理员能够: 配置 Hadoop 集群 – Ambari 提供了一个分步向导,用于在任意数量的主机上安装 Hadoop 服务。 – Ambari 为集群处理 Hadoop 服务的配置。 管理 Hadoop 集群 – Amb 阅读详情

相关推荐

编译Ambari 3.0.0全攻略

本文详细介绍了在CentOS 7.9环境下编译Ambari 3.0.0的完整步骤。主要内容包括:1)基础依赖安装指南;2)源代码克隆方法(提供国内加速链);3)JDK 17和Maven 3.8.4的版本要求及一键安装建议;4)高效全量编译命令参数说明(包含多线程优化和跳过选项);5)编译产出的目录结构及RPM包位置。文章特别针对国内网络环境提供了yarn离线包准备等优化建议,帮助开发者顺利完成Ambari的编译工作。

TTBIGDATA的博客 1665

ambari源码编译教程

前言 ambari源码编译是一个非常痛苦的过程,其官网上的编译资料非常少。本人在尝试编译ambari编码的过程中,遇到了非常多的问题,特别是ambari-web模块,吃了不少苦头。本文介绍的是ambari-2.4.0.0的源码编译过程,如果是高版本编译,可能会少一些问题。编译环境基本从零构建,我相信本教程应该适用绝大多数用户。 一、编译环境准备 1. 安装必要的编译工具: yum ins...

u012361112的博客 1474

Ambari 安装 Azkaban

Azkaban on Ambari

jzy3711的博客 28万+

Ambari源码编译、安装(包括异常处理)

本篇文章以实践做记录总结在Redhat上编译、安装 ambari-2.7.4 源码以及安装服务的全部过程,文章基本是涵盖了所有步骤,可依据此文章逐步编译、安装成功。

m0_51205511的博客 6734

Ambari 安装部署教程(手把手教学)【超级详细】

本文为读者提供了一套超详细的 Apache Ambari 安装部署教程,采用手把手教学方式,适合初学者及大数据运维人员。内容涵盖前期准备、环境配置、Ambari Server 与 Agent 安装、集群初始化配置、常见问题排查等全流程操作,确保用户能够顺利搭建稳定的 Hadoop 大数据平台管理系统。

Five的博客 1万+

第十七讲:如何将服务一劳永逸的集成到ambari中,方便新环境部署,无需二次拷贝...

点击上方蓝色“大数据实战演练”,选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料!每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。放弃不难,但坚持很酷~一、前言如何将服...

CREATE_17的博客 804

Ambari系列(二):编译安装Ambari

Ambari系列(二):编译安装Ambari 分类: Hadoop2014-12-27 09:16 874人阅读 评论(2) 收藏 举报 AmbariHDPhadoop编译 目录(?)[+] 1.2 需要安装的工具 1.2.1     安装JDK 输入命令 [root@bigData-02 ~]# java –version

Thinking 2645

缠论 公式 自动画线 画笔 中枢 买卖点 源代码

【代码】缠论 公式 自动画线 画笔 中枢 买卖点 源代码。

weixin_40835859的博客 2万+

Ambari 3.0.0 编译指南

本文详细介绍了在CentOS 7.9环境下编译Ambari 3.0.0的完整流程。主要包括:1)基础依赖安装,包括git、rpm-build等工具;2)从GitHub克隆Ambari源代码;3)安装JDK 17和Maven 3.8.4环境;4)使用优化参数进行全量编译,推荐多线程并跳过测试等加速构建;5)最终产出的RPM包目录结构说明。文中提供了国内加速下载方案、编译参数解析和实际效果截图,特别针对网络问题给出了离线包准备建议,是一份实用的Ambari编译指南。

success could be revenge的博客 380

【python】epub的电子书繁体字与简体字转换

中文繁体与简体转换

xiexianyou666的博客 3093

使用PackStack工具自动化部署OpenStack

搭建 OpenStack 环境,每个组件的安装和配置都需要熟悉其特定的依赖关系、参数设置等,对于初学者来说容易出错。PackStack 工具通过集成一系列脚本和配置文件,便于快速搭建OpenStack练习环境。CPU:支持 Intel VT - x 或 AMD - V 硬件虚拟化技术,并且要在 BIOS 里开启此功能。内存:16GB以上存储:200GB以上可用空间(2)VMware WorkStation16.0以上版本(3)远程连接工具(如Xshell、MobaXterm)

2301_80440447的博客 4095

Ambari系列(四):基于Ambari做二次开发(DIY)

Ambari能够搭建、管理Hadoop集群,这是一件很酷的事情,让集群管理变的easy,但是有可能也有自己的一些需求,如果我想基于Ambari做二次开发DIY,修改一下界面,增加一些功能,添加一个模块等等,这些都是没问题,首先Ambari是基于ASF协议,其次,开发也很方便,唯一不足的是官网基于此的开发文档不多。

1万+

uniapp原生安卓插件开发之路

声明: 我的功能需求:全局悬浮框,也就是在其他应用上依旧能悬浮。查遍uni文档,无法实现,甚至native.js也无法实现,无奈只能走上原生插件开发这条不归路了。(吐槽:天天写前端js,突然写了下android简直要炸,public static String啥的,var不香嘛,不过别人严谨肯定还是有别人道理的,加油吧,争取能入个门!) 本人不懂安卓开发,完全安卓小白,所以安卓方面可能表达的不是很好,安卓代码可能写的不优美,但我功能最终还是实现了。但是为了需求,能力总能被“逼”出来。有描述错误的还望指正

Jone's Area 1万+

ambari全攻略流程,开发ambari(四)

这一章我们详细的部署开发环境于如何调试开发ambari,大致可以分为创建实时编译的环境,使用webstorm或其他类似工具通过remot的方式连接虚拟机上传或下载更改。同时添加一个汉化的实例帮助大家来理解二次开发,与整体ambari的架构,由于作者只是浅尝辄止,并未对项目深入解析,也有不足希望各位指出。

u010025966的博客 2143

Sentence-BERT 语义相似度双塔模型

论文介绍 发表:2019,EMNLP 论文题目:《Sentence-BERT:sentence embeddings using siaese BERT-networks》 论文地址:https://arxiv.org/abs/1908.10084 Github:https://github.com/UKPLab/sentence-transformers 适用领域: 句向量生成 语义相似度计算 语义搜索 无监督任务(聚类) 1 概述 在20年之前的各种预训练模型中,比如bert,XLNet,Alb

weiyaner的博客 9195

用CentOS 7安装cadence搭建适合IC Design的科研环境(四)——IC617、MMSIM151、calibre2015安装过程step by step

以下操作都在root权限下执行。建立安装目录建议把这种大型软件装在/opt目录下。mkdir -p /opt/cadence/installscape mkdir -p /opt/mentor/Calibre2015其中-p参数是直接建立父目录。因为IC617和MMISM151会自己建立安装目录,所以在这里没有建相关目录。而calibre则是默认安装在安装包所在的目录下,所以需要提前建立。解压安

maxwell2ic的博客 7万+

ambari打包

docker run -it bigtop/slaves:3.3.0-ubuntu-22.04 /bin/bash #启动镜像并进入。git clone https://github.com/apache/ambari.git #获取bigtop代码。adduser ambari #创建ambari用户。su - ambari #登录ambari用户。cd ambari #进入ambari目录。打包得到2个deb安装包。

wk022的专栏 515

abaqus 根据坐标施加载荷- Analytical Field 载荷映射

在一些类型的分析中,需要将按位置分布的载荷施加到结构上,比如流体分析导出了结构的气动载荷、或者温度载荷,需要将压强分布、温度分布载荷施加到固体上。这种分析可以使用abaqus中的Analytical Field实现。 1 例子 1.1 结构 一个100*100mm的面,面的载荷分布函数为p=(x2+y2)0.5/((20.5)*100) MPa,即(0, 0)的压强为0,(100, 100)的压强为1。 1.2 载荷 载荷函数:p=(x^2+y^2)^0.5/((2^0.5)*100) in exce.

shengyutou的博客 2万+

CentOS下Ambari release-2.7 源码编译详解

1. 环境准备 1.1 申请虚拟机 在VPS上申请一个虚拟机,几点建议: 建议一:建议采用国外的虚拟机。一方面大量的依赖是需要从外网上下载,国内的机器经常会因为网络问题无法下载 。另一方面,国外的基础设施,尤其在网络方面性价比远远高于国内。我一般采用vultr的日本虚拟机,下各种包基本都是秒下。(https://www.vultr.com/?ref=7607386) 建议二:建议选择内存稍微大点...

取经路上 1170

081、空间降噪(Spatial Denoise)实战:双边滤波、非局部均值与BM3D在ISP中的调优

调参时,别只看PSNR/SSIM。找几个典型场景(夜景、人像、文字、天空),在真实设备上肉眼对比。我见过PSNR涨了2dB但图像看起来更差的案例——因为PSNR不惩罚纹理丢失。空间降噪这块,理论说再多,不如动手调一次。下次遇到噪点问题,先别急着上BM3D,试试双边滤波的自适应参数,说不定有惊喜。

zzfmlxs的博客 48

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

ambari-web/admin 前端二次开发

一、Ambari-web二次开发 ambari-web可以单独编译,用来修改ambari UI页面。采用ember.js(版本:v1.0.pre)作为前端MVC框架和NodeJS相关工具,用handlebars.js作为页面渲染引擎,在CSS/HTML方面还用了Bootstrap(v2.1.1)框架。 Ambari-web目录结构: 目录或文件 描述 app/ 主要应用程序代码。包...

CREATE_17的博客 3355

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Ambari2.6源码编译之ambari-web

Ambari编译之ambari-web 1.准备 1.1下载源码 安装wget yum -y install wget 下载源码 将源码下载到/opt目录下 wget http://www.apache.org/dist/ambari/ambari-2.6.0/apache-ambari-2.6.0-src.tar.gz -O /opt/apache-amba...

shirukai 1749

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

【Ambari监控】Ambari-Metrics 的编译成果

本文介绍了Ambari-Metrics的编译与部署方案,提供了完整的代码仓库和一键编译脚本,支持RPM(CentOS/Rocky)和DEB(Ubuntu)两种包格式。文中详细展示了各系统下的编译产物清单,并强调需要在干净环境中构建,避免污染生产环境。文章最后说明将以RPM的分工方式讲解各子模块功能,为后续章节做铺垫。所有资源可通过指定链接获取。

TTBIGDATA的博客 460

Ambari源码二次开发实战课程(持续更新中)

如果大家想基于 ambari 开发一套自己的大数据平台,那么 ambari 二次开发的相关知识就必须具备。比如:ambari 整体编译,ambrai 汉化,ambari 页面开发,ambari api 接口开发,二次开发相关的技巧经验等等。在 hortonworks 公司被 cloudera 公司合并,hdp 闭源以后,其实很多公司,很多小伙伴都有这方面的需求:基于 am...

CREATE_17的博客 1136

ambari 2.6.0 on centos 7 编译

环境 操作系统: CentOS Linux release 7.3.1611 (Core) JDK: java version “1.8.0_162” maven: Apache Maven 3.5.3 工具:git, rpmbuil 保持良好的网络环境, 最好为git , 或maven 添加代理 编译 下载源代码: git clone https://github.com/apac...

xinxin_615的博客 243

Apache Ambari 2.4.2 安装指南

Ambari源码安装指南

狮锅艺 3072
上一篇: hbase架构详解
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值