ambari代码编译

Ambari 详细使用案例 Ambari 是一款开源的工具,旨在帮助用户管理和监控 AWS 云环境中的虚拟机、容器和其他资源。它提供了一个易于使用的界面,可以帮助用户快速部署和管理云环境中的资源。部署和管理虚拟机和容器。监控和管理云环境中的资源。提供易于使用的界面和 API,方便用户进行资源的管理和监控。支持多种 AWS 服务,如 EC2、EBS、ELB 等。 阅读详情


1.准备环境centos7

一、下载 ambari 2.7.3

我们将 ambari 源码包下载到/opt目录下:

cd /opt
wget https://archive.apache.org/dist/ambari/ambari-2.7.3/apache-ambari-2.7.6-src.tar.gz  # 源码包大小:85.9M,和www-eu.apache.org、mirrors.tuna.tsinghua.edu.cn网站提供的是一个文件,推荐使用
tar zxvf apache-ambari-2.7.3-src.tar.gz
chown -R root:root apache-ambari-2.7.3-src
二、前置工作

版本说明:

工具版本
操作系统CentOS 7
java1.8.0_151
maven3.3.9
rpm-build4.11.3-43.el7.x86_64
gcc-c++4.8.5-39.el7.x86_64
python2.6(系统自带)
python-devel2.7.5-88.el7.x86_64
git1.8.3.1
1、java 安装

需要下载的依赖安装包,在我的云盘已经保存好了,详情点击下载,链接: https://pan.baidu.com/s/13artwjfgi7ikJiKIBbzb7w 提取码: fgia
1)下载安装包

mkdir /usr/java
cd /usr/java
# 将jdk-8u151-linux-x64.tar.gz拷贝到/usr/java目录下
# 解压
tar zxvf jdk-8u151-linux-x64.tar.gz
# 删除tar包
rm -rf jdk-8u151-linux-x64.tar.gz

2)修改配置文件

vim /etc/profile
# 文末添加如下:
# set java
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3)查看版本

java -version
2、maven 安装

1)下载安装包

mkdir /usr/maven
cd /usr/maven
# 将apache-maven-3.3.9-bin.tar.gz拷贝到/usr/maven目录下
# 解压
tar zxvf apache-maven-3.3.9-bin.tar.gz
# 删除tar包
rm -rf apache-maven-3.3.9-bin.tar.gz

2)修改配置文件

vim /etc/profile
# 文末添加如下:
# set mvn
export MAVEN_HOME=/usr/maven/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
# 保存并退出
:wq!
# 使配置文件生效
source /etc/profile

3)查看版本

mvn -v
3、rpm-build 安装
yum install rpm-build -y
4、gcc-c++ 安装
# centos-7 自带
yum install gcc-c++ -y
5、python-devel 安装
# centos-7 自带
yum install python-devel
6、git 安装
yum install git -y

7、npm 安装
网上下载npm包自行安装
下面是安装好npm后缺少部分bower或gulp我的处理办法 (从一台已经done的机器copy过来)

# 在源机器上打包全局安装包
cd /home/admin/xdliang/node-v10.24.1-linux-x64/lib
tar -czvf npm-global-packages.tar.gz node_modules

# 将压缩包复制到目标机器
scp npm-global-packages.tar.gz user@target-machine:/path/to/destination

# 在目标机器上解压缩包
cd /path/to/node-v10.24.1-linux-x64/lib
tar -xzvf /path/to/destination/npm-global-packages.tar.gz

# 确保 npm 配置正确
npm config set prefix /path/to/node-v10.24.1-linux-x64

# 验证安装
npm list -g --depth=0

三、编译 Ambari
1、maven 镜像源配置

编辑 apache-maven-3.3.9/conf/settings.xml 配置文件,添加好下述镜像源,会提高编译ambari的速度。

<mirrors>
    <mirror>
        <id>alicentral</id>
        <name>aliyun maven central</name>
        <url>https://maven.aliyun.com/repository/central</url>
        <mirrorOf>central,apache.snapshots.https,maven2-repository.dev.java.net,maven2-glassfish-repository.dev.java.net,maven2-repository.atlassian,apache.staging.https,oss.sonatype.org,spring-milestones</mirrorOf>
    </mirror>
    <mirror>
        <id>alipublic</id>
        <name>aliyun maven public</name>
        <url>https://maven.aliyun.com/repository/public</url>
        <mirrorOf>central</mirrorOf>
    </mirror>
</mirrors>
<proxies>
    <proxy>
      <id>default-proxy</id>
      <active>true</active>
      <protocol>http</protocol>
      <host>10.57.22.219</host>
      <port>3128</port>
      <nonProxyHosts>maven.fraudmetrix.cn</nonProxyHosts>
    </proxy>
  </proxies>
  • 最后我改变了xml最好还是用阿里云的镜像
<mirrors>
  <!-- 阿里云镜像 -->
  <mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>central</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
  </mirror>


  <!-- mirror
  | Specifies a repository mirror site to use instead of a given repository. The repository that
  | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
  | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
  |
  <mirror>
  <id>mirrorId</id>
  <mirrorOf>repositoryId</mirrorOf>
  <name>Human Readable Name for this Mirror.</name>
  <url>http://my.repository.com/repo/path</url>
</mirror>
  -->
</mirrors>
2、将 HDP 3.0 和 3.1 文件拷贝到源码中上

在 ambari2.7.6.0 源码里面,是缺少 HDP 3.0 和 3.1 相关目录的,缺失的话,会导致 ambari 在界面部署 hdp 集群时,出现如下图的窘况:

解决办法就是:将 HDP 3.0 和 3.1 目录拷贝到 ambari-server 的源码里面,具体路径:./ambari-server/src/main/resources/stacks/HDP/ 下,这样后面在编译过程中,就会把这俩目录打到ambari-server.rpm包里面了。
HDP 3.0 和 3.1 文件 这里我百度云盘需要自取
链接: https://pan.baidu.com/s/1hpRmZX64lnEB8ONUCC1-sg 提取码: npmo

3、编译命令

编译 ambari 的话,如果有自定义版本号的要求,可以先给 ambari 源码打上自己定义的版本号。打版本号其实就是通过 mvn 命令自动修改 pom.xml 文件里面的 version 值,包括子模块。
然后第二步就是通过 mvn 命令,将 ambari 各模块源码编译,最终得到各自的 rpm 包,类似 hortonworks 官方提供的 ambari 相关 rpm 包。
https://downloads.apache.org/

#编译的时候最好多线程内存足够大去编译
mvn -X -T 8 -DargLine="-Xmx2g -Xms8g"  clean install package rpm:rpm -DnewVersion=2.7.3.0.0 -DskipTests -Dmaven.test.skip=true -Drat.numUnapprovedLicenses=1000 -Dpython.ver="python>=2.6" -Drat.skip -Dcheckstyle.skip
四、编译技巧

ambari 源码分为多个模块,当某个模块编译失败时,我们想继续从这个模块开始编译,怎么做呢?
举个例子,假如 ambari-web 模块编译报错,只需要在编译命令的末尾添加:-rf :ambari-web 即可。当报错时显示的模块名,会在 mvn 输出的最后一行显示。

1.编译Ambari Web报错

Q:
image.png
image.png
A:
image.png
Q:
image.png
A:
没有phantomjs就去安装https://blog.youkuaiyun.com/github_39577257/article/details/106211612?spm=1001.2014.3001.5502
安装过程报错
image.png
安装ruby

sudo yum install ruby

image.png

sudo yum install gperf
2.编译Ambari-admin报错

下一步继续报错
image.png

#配置yum代理
sudo yum install yarn

image.png
重新装这个npm和31.13的保持一致

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash
source ~/.bashrc   # 或 source ~/.zshrc
nvm install 10.24.1
nvm alias default node

npm不可用
image.png

npm config set registry https://registry.npmmirror.com

image.png
改一下node version的版本
image.png

Q:image.png
确保你的系统时间和日期是正确的。可以使用以下命令同步时间:

sudo ntpdate pool.ntp.org
npm config set strict-ssl false
yarn config set strict-ssl false

A:
image.png
image.png

Q:/home/tdops/.m2/repository/org/apache/maven/plugins/maven-checkstyle-plugin安装卡死
A: 删除重新安装

image.png

ps aux --sort=-%mem | head -n 10
#内存满了
3.编译Ambari-solar报错

Q:
image.png
A:找不到的版本直接修改成通用版本
image.png

Q:image.png
A:类似这种的删了重新下

4.编译Ambari-infra报错

Q:
image.png

A:

grep -r "central.maven.org" /opt/apache-ambari-2.7.3-src/
#全部改成自己maven中配置的试一下
#http://maven.fraudmetrix.cn/nexus/content/groups/public
5.编译Ambari-metrics hadoop sink报错

Q:image.png
A:一样的问题找出这个/nexus-private-hortonworks替换成本地源

vi /opt/apache-ambari-2.7.3-src/ambari-metrics/pom.xml

image.png

6.编译Ambari-metrics-storm-sink报错

Q:image.png
A:增加一个pom依赖

com.googlecode.json-simple
json-simple
1.1

image.png

7编译Ambari-logsearch-web

Q:
image.png
A:

#设置自己的梯子
yarn config set https-proxy http://10.57.241.28:7890/
yarn config set proxy http://10.57.241.28:7890/
yarn config set registry https://registry.npmmirror.com/
8编译Ambari metrics Collector 报错

Q:
image.png
A:相对应地版本已经找不到了 改成私服对应版本
9.编译Ambari metrics grafana 报错
image.png
A:
离线下载包然后 把文件放某个目录 那个目录起一个python simple server到指定端口
image.png修改指定ambari-metrics/pom.xml成离线安装

nohup python -m SimpleHTTPServer 12345 > server.log 2>&1 &

Q:
image.png
A:

#修改pom
/opt/apache-ambari-2.7.3-src/ambari-metrics/ambari-metrics-timelineservice

image.png

Q:
image.png
image.png

#编码的问题不管他等待
#或者删除有关文件
find /data01/.m2/ -name resolver-status.properties -delete
五、编译成功

image.png

ambari全攻略流程,认识ambari(一) ambari介绍 Apache Ambari 项目旨在通过开发用于供应、管理和监控 Apache Hadoop 集群的软件来简化 Hadoop 管理。Ambari 提供了一个直观、易于使用的 Hadoop 管理 Web UI,由其 RESTful API 提供支持。 Ambari 使系统管理员能够: 配置 Hadoop 集群 – Ambari 提供了一个分步向导,用于在任意数量的主机上安装 Hadoop 服务。 – Ambari 为集群处理 Hadoop 服务的配置。 管理 Hadoop 集群 – Amb 阅读详情

相关推荐

编译Ambari 3.0.0全攻略

本文详细介绍了在CentOS 7.9环境下编译Ambari 3.0.0的完整步骤。主要内容包括:1)基础依赖安装指南;2)源代码克隆方法(提供国内加速链);3)JDK 17和Maven 3.8.4的版本要求及一键安装建议;4)高效全量编译命令参数说明(包含多线程优化和跳过选项);5)编译产出的目录结构及RPM包位置。文章特别针对国内网络环境提供了yarn离线包准备等优化建议,帮助开发者顺利完成Ambari的编译工作。

TTBIGDATA的博客 1665

ambari源码编译教程

前言 ambari源码编译是一个非常痛苦的过程,其官网上的编译资料非常少。本人在尝试编译ambari编码的过程中,遇到了非常多的问题,特别是ambari-web模块,吃了不少苦头。本文介绍的是ambari-2.4.0.0的源码编译过程,如果是高版本编译,可能会少一些问题。编译环境基本从零构建,我相信本教程应该适用绝大多数用户。 一、编译环境准备 1. 安装必要的编译工具: yum ins...

u012361112的博客 1474

Ambari 安装 Azkaban

Azkaban on Ambari

jzy3711的博客 28万+

Ambari源码编译、安装(包括异常处理)

本篇文章以实践做记录总结在Redhat上编译、安装 ambari-2.7.4 源码以及安装服务的全部过程,文章基本是涵盖了所有步骤,可依据此文章逐步编译、安装成功。

m0_51205511的博客 6734

Ambari 安装部署教程(手把手教学)【超级详细】

本文为读者提供了一套超详细的 Apache Ambari 安装部署教程,采用手把手教学方式,适合初学者及大数据运维人员。内容涵盖前期准备、环境配置、Ambari Server 与 Agent 安装、集群初始化配置、常见问题排查等全流程操作,确保用户能够顺利搭建稳定的 Hadoop 大数据平台管理系统。

Five的博客 1万+

第十七讲:如何将服务一劳永逸的集成到ambari中,方便新环境部署,无需二次拷贝...

点击上方蓝色“大数据实战演练”,选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料!每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。放弃不难,但坚持很酷~一、前言如何将服...

CREATE_17的博客 804

Ambari系列(二):编译安装Ambari

Ambari系列(二):编译安装Ambari 分类: Hadoop2014-12-27 09:16 874人阅读 评论(2) 收藏 举报 AmbariHDPhadoop编译 目录(?)[+] 1.2 需要安装的工具 1.2.1     安装JDK 输入命令 [root@bigData-02 ~]# java –version

Thinking 2645

Revit实战:从零到一,手把手教你用族(Family)搭建一个完整的水闸BIM模型

本文详细介绍了如何使用Revit的族(Family)功能从零开始构建一个完整的水闸BIM模型。通过参数化族设计,实现闸门开度调整自动关联流量计算等智能化功能,提升水利工程BIM模型的工程价值和应用效率。文章涵盖族库规划、核心构件创建、高级技巧及BIM数据深度应用,为水利工程数字化提供实用指南。

weixin_28738165的博客 265

Ambari 3.0.0 编译指南

本文详细介绍了在CentOS 7.9环境下编译Ambari 3.0.0的完整流程。主要包括:1)基础依赖安装,包括git、rpm-build等工具;2)从GitHub克隆Ambari源代码;3)安装JDK 17和Maven 3.8.4环境;4)使用优化参数进行全量编译,推荐多线程并跳过测试等加速构建;5)最终产出的RPM包目录结构说明。文中提供了国内加速下载方案、编译参数解析和实际效果截图,特别针对网络问题给出了离线包准备建议,是一份实用的Ambari编译指南。

success could be revenge的博客 380

如何用SoulChat2.0快速克隆你的心理咨询师?手把手教你搭建AI数字孪生体

本文详细介绍了如何利用SoulChat2.0框架快速构建心理咨询师的AI数字孪生体。通过其核心PsyDT技术,仅需少量真实案例即可合成风格数据并微调大模型,从而低成本地创建能高度模仿特定咨询师语言风格和专业技术的AI分身,适用于预约访谈、心理教育等辅助场景,实现高效的人机协作。

julia4scientist的博客 980

基于深度学习的干扰识别

本文是记录我上半年仿真和复现干扰识别的过程,展示的主要是一些需要注意的点以及仿真的相关结果。

qq_55218335的博客 1705

Ambari系列(四):基于Ambari做二次开发(DIY)

Ambari能够搭建、管理Hadoop集群,这是一件很酷的事情,让集群管理变的easy,但是有可能也有自己的一些需求,如果我想基于Ambari做二次开发DIY,修改一下界面,增加一些功能,添加一个模块等等,这些都是没问题,首先Ambari是基于ASF协议,其次,开发也很方便,唯一不足的是官网基于此的开发文档不多。

1万+

MagicDraw-需求图

MagicDraw学习笔记

木头征的博客 4138

ambari全攻略流程,开发ambari(四)

这一章我们详细的部署开发环境于如何调试开发ambari,大致可以分为创建实时编译的环境,使用webstorm或其他类似工具通过remot的方式连接虚拟机上传或下载更改。同时添加一个汉化的实例帮助大家来理解二次开发,与整体ambari的架构,由于作者只是浅尝辄止,并未对项目深入解析,也有不足希望各位指出。

u010025966的博客 2143

W5500 TCP服务器状态机详解:从SOCK_CLOSED到SOCK_ESTABLISHED的完整流程

本文深入解析W5500芯片作为TCP服务器时的状态机转换流程,从SOCK_CLOSED到SOCK_ESTABLISHED的完整链路实践。通过硬件协议栈架构分析、状态机全流程拆解及异常处理方案,帮助开发者构建高可靠性的嵌入式网络服务端,优化TCP连接性能与稳定性。

Jerry的专栏 1167

给大一新生的蓝桥杯EDA备赛规划:从电路分析到立创EDA,如何用一年时间高效备赛?

本文为大一新生提供了一份系统的蓝桥杯EDA备赛规划,从电路分析基础到立创EDA实战操作,分阶段指导如何高效备赛。内容涵盖理论学习、软件操作、PCB设计专项提升及冲刺优化策略,帮助学生在一年内全面提升电子设计能力,为竞赛做好充分准备。

weixin_31476015的博客 291

ambari打包

docker run -it bigtop/slaves:3.3.0-ubuntu-22.04 /bin/bash #启动镜像并进入。git clone https://github.com/apache/ambari.git #获取bigtop代码。adduser ambari #创建ambari用户。su - ambari #登录ambari用户。cd ambari #进入ambari目录。打包得到2个deb安装包。

wk022的专栏 515

帕德伯恩大学轴承数据集(PU)介绍

PU数据集介绍一、帕德伯恩大学轴承数据集故障类别说明二、关于损伤描述2.1 损伤组合:2.2 重复和多重损伤的安排:2.3 几何尺寸2.4 损伤程度2.5损伤特征数据集损伤类别三、人为损坏轴承3.1 最常用的人为损伤制造方法是:3.2 本数据集使用的人工损坏是由三种不同方法引起的四、通过加速寿命试验产生真正的轴承损坏样本 一、帕德伯恩大学轴承数据集 数据集下载地址 从帕德伯恩大学获得的PU数据集是一个6203轴承数据集,包括人为诱发的和真实的损害。采用压电加速度计采集轴承座的振动信号,采样频率为64 kHz

m0_47180208的博客 3万+

CentOS下Ambari release-2.7 源码编译详解

1. 环境准备 1.1 申请虚拟机 在VPS上申请一个虚拟机,几点建议: 建议一:建议采用国外的虚拟机。一方面大量的依赖是需要从外网上下载,国内的机器经常会因为网络问题无法下载 。另一方面,国外的基础设施,尤其在网络方面性价比远远高于国内。我一般采用vultr的日本虚拟机,下各种包基本都是秒下。(https://www.vultr.com/?ref=7607386) 建议二:建议选择内存稍微大点...

取经路上 1170

YOLO11创新改进系列:卷积,主干 注意力,C3k2融合,检测头等创新机制(已更新110+)

本专栏提供详细的 YOLO11 教程,包括基础知识、源码解析、入门实践、算法改进和项目实战,适合发表YOLO11 学习者订阅。内容包含 100+多篇独家改进机制,适合发表论文,评分高达 96 分。订阅者将获得一键运行的改进文件及答疑交流群支持。 使用服务器的同学还可以私聊获取搭建好的运行环境。

专注于图像领域,主要研究内容包括计算机视觉和深度学习,特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

ambari-web/admin 前端二次开发

一、Ambari-web二次开发 ambari-web可以单独编译,用来修改ambari UI页面。采用ember.js(版本:v1.0.pre)作为前端MVC框架和NodeJS相关工具,用handlebars.js作为页面渲染引擎,在CSS/HTML方面还用了Bootstrap(v2.1.1)框架。 Ambari-web目录结构: 目录或文件 描述 app/ 主要应用程序代码。包...

CREATE_17的博客 3355

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Ambari2.6源码编译之ambari-web

Ambari编译之ambari-web 1.准备 1.1下载源码 安装wget yum -y install wget 下载源码 将源码下载到/opt目录下 wget http://www.apache.org/dist/ambari/ambari-2.6.0/apache-ambari-2.6.0-src.tar.gz -O /opt/apache-amba...

shirukai 1749

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

【Ambari监控】Ambari-Metrics 的编译成果

本文介绍了Ambari-Metrics的编译与部署方案,提供了完整的代码仓库和一键编译脚本,支持RPM(CentOS/Rocky)和DEB(Ubuntu)两种包格式。文中详细展示了各系统下的编译产物清单,并强调需要在干净环境中构建,避免污染生产环境。文章最后说明将以RPM的分工方式讲解各子模块功能,为后续章节做铺垫。所有资源可通过指定链接获取。

TTBIGDATA的博客 460

Ambari源码二次开发实战课程(持续更新中)

如果大家想基于 ambari 开发一套自己的大数据平台,那么 ambari 二次开发的相关知识就必须具备。比如:ambari 整体编译,ambrai 汉化,ambari 页面开发,ambari api 接口开发,二次开发相关的技巧经验等等。在 hortonworks 公司被 cloudera 公司合并,hdp 闭源以后,其实很多公司,很多小伙伴都有这方面的需求:基于 am...

CREATE_17的博客 1136

ambari 2.6.0 on centos 7 编译

环境 操作系统: CentOS Linux release 7.3.1611 (Core) JDK: java version “1.8.0_162” maven: Apache Maven 3.5.3 工具:git, rpmbuil 保持良好的网络环境, 最好为git , 或maven 添加代理 编译 下载源代码: git clone https://github.com/apac...

xinxin_615的博客 243

Apache Ambari 2.4.2 安装指南

Ambari源码安装指南

狮锅艺 3072
上一篇: hbase架构详解
zax_java
博客等级 码龄8年 62粉丝 23原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值