
Ambari
文章平均质量分 87
create17
知行合一。
展开
-
第六讲:ambari-web 模块二次开发
ambari-web 模块涉及到的界面有:1、HDP 集群部署向导2、已安装服务的仪表板、配置界面等3、主机列表及详细信息4、告警列表及详细信息5、HDP 集群管理等(组件版本列表、服务用户名、启用 Kerberos、服务自启动配置)ambari-web 模块可以单独编译,实时看到编译后效果,用来修改开发 ambari web UI 页面。原创 2023-03-06 15:30:43 · 671 阅读 · 0 评论 -
附录3:说一说 Ambari 视图编译相关
Ambari 视图编译相关疑问问题原创 2023-03-06 15:18:06 · 581 阅读 · 0 评论 -
第四讲:如何将本地代码与服务器代码保持实时同步
保证本地代码与服务器代码保持实时同步,在开发中可以提高效率原创 2023-03-05 22:35:08 · 1317 阅读 · 0 评论 -
【完整版】国内网络编译,Ambari 2.7.6 全部模块源码编译笔记
ambari 2.7.6 源码编译与之前版本相比,就编译来说优化了很多地方,主要有:1、涉及前端模块的 npm 构建都切换为了 yarn 构建。关于 npm vs yarn 可参考:https://zhuanlan.zhihu.com/p/234934362、编译 ambari-metrics 模块时,摆脱了 hortonworks 提供的 hbase、hadoop、grafana、phoenix 地址,改为了 apache 提供的地址,能直接下载到。好了,我们开始编译吧~原创 2023-03-05 19:17:52 · 673 阅读 · 0 评论 -
附录1:ambari-2.7.3.0 源码整体编译
但是还需要说一个地方,当编译 ambari-metrics 的时候,会提示 hbase、hadoop、grafana、phoenix相关tar包下载地址失效 的问题。除了以上这个地方需要单独的包以外,其他编译步骤及相关问题解决方法都和【编译ambari2.7.5.0】一样,大家可以参考:《将 ambari-metrics/pom.xml 需要的某些 tar 包的地址由外网地址,修改为从本地目录中获取。不管是编译 ambari 哪个版本,编译步骤都是通用的。先打版本号,然后再执行mvn编译命令。原创 2023-03-05 17:14:16 · 310 阅读 · 0 评论 -
第三讲:ambari编译后的安装包制作流程说明
前两讲,我们已经将 Ambari 源码编译成功。现在我们想将 Ambari 编译后的 rpm 包,都放到 yum 本地仓库中,这样 Ambari 与 HDP 在安装部署时,就直接使用的我们自己编译的安装包了。Ambari 的 rpm 包,有这么几类:1、ambari-server rpm2、ambari-agent rpm3、ambari metrics 相关 rpm 包4、ambari infra 相关 rpm 包5、bari logsearch 相关 rpm 包共计 12 个 rpm 包。原创 2023-03-05 09:34:12 · 792 阅读 · 0 评论 -
第二讲:ambari编译复盘,如何实现一次性成功编译ambari
上节课我们已经讲解了如何成功编译ambari源码,安装ambari-server rpm包以及成功部署ambari。本节课我们来复盘一下上节课的编译过程,以及思考如何实现一次性成功编译ambari。要想一次性成功编译ambari,那么就需要将预置工作做好,比如:1. maven镜像源配置,2. node_moudle模块预先拷贝3. 一些从网上下载的文件预先设置好等等...那么现在开始,我们再从零做一次ambari的编译工作,争取一次性将其编译成功。原创 2023-03-05 08:13:28 · 602 阅读 · 0 评论 -
第一讲:ambari-2.7.5.0 全部模块源码编译并安装部署ambari
Ambari 2.7.5 全部源码编译,详细教程,编译 ambari-metrics 模块时依赖的 tar.gz 包免费提供!!!编译步骤、思路 适配于 ambari 所有版本!!原创 2023-03-04 23:26:17 · 664 阅读 · 0 评论 -
Ambari部署及hdp部署的疑难问题解答汇总
点击上方蓝色“大数据实战演练”,选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料!每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。放弃不难,但坚持很酷~前言以下,都是收...原创 2021-02-25 07:55:00 · 1922 阅读 · 0 评论 -
国内网络编译,Ambari 2.7.6 全部模块源码编译笔记
笔记为 Ambari 2.7.6 全部源码编译保姆级教程,记录了编译过程中所有的报错及解决方案,过程非常详细,是不可多得的好教程。原创 2022-11-21 10:00:30 · 1204 阅读 · 1 评论 -
Ambari 及 hdp 相关源码地址汇总
Ambari + hdp 源码奉上,内有 Ambari 知识库等你来关注!原创 2022-04-08 21:45:24 · 2867 阅读 · 1 评论 -
第十八讲:FAQ 1、服务状态假死 2、服务的部分汉化 3、服务集成前要做的规划
一、Ambari自定义服务启动成功后,依旧显示停止状态的解决方案1、概述如果遇到该情况,首先前往 /var/log/ambari-agent/ambari-agent.log 查看日志输出。**服务安装后,ambari 2.6 大约每隔 60s 会执行 status() 方法,ambari 2.7 大约每隔 20s 会执行 status() 方法。**如果执行 status() 方法的过程中报错,则在 Ambari 页面上会显示服务已停止。如果执行 status() 方法的过程中没报错,则在 Amba原创 2021-06-07 10:26:21 · 266 阅读 · 0 评论 -
第十五讲:Ambari 如何下载客户端配置
一、指定 client 角色的组件如果想要实现客户端配置下载,前提是你需要有 client 角色的组件。然后在 metainfo.xml 文件中,添加 <configFiles> 标签内容即可。<component> <name>ELASTICSEARCH_CLIENT</name> <displayName>ELASTICSEARCH Client</displayName> <category&g原创 2021-06-07 10:23:25 · 614 阅读 · 0 评论 -
第十六讲:版本hdp2与hdp3集成服务的相同点、差异点及解决办法
到目前为止,ambari 有两个大版本:ambari 2.6 及以下 可以部署 hadoop 2 相关的服务,也就是 hdp 2ambari 2.7 可以部署 hadoop 3 相关的服务,也就是 hdp 3对于自定义服务集成来说,hdp 2 与 hdp 3 是有一些差异的,彼此并不兼容。这就造成了一部分人的痛点,集成服务需要适配于两个版本,hdp2 和 hdp3 。如果我们将视频中的 ELASTICSEARCH 集成到 HDP 2 系列的话,就会报错。当获取参数 agentLevelPara原创 2021-06-07 10:21:01 · 531 阅读 · 0 评论 -
第十四讲:Ambari 自定义服务调试技巧汇总
功能点(以 ELASTICSEARCH 服务为例):metainfo.xmlconfiguration/xxx.xmlpackagealerts.jsonquicklinks/quicklinks.jsonwidgets.json 与 metrics.jsonthemes/theme.jsonrole_command_order.json常规调试的步骤是:步骤1、重启 ambari-server 进程,执行命令:ambari-server restart步骤2、重装服务,卸载和重新原创 2021-06-07 10:15:35 · 485 阅读 · 0 评论 -
第十三讲:如何调整各服务、各组件启动顺序
引言:我们都知道,ambari 中集成了很多服务,有的服务之间还存在着依赖关系,比如 HBase 依赖 zookeeper、hdfs 。如果你想成功运行 HBase ,那么就得先安装和启动 zookeeper 和 hdfs 。一般来说,一个服务都是由一个或多个组件组成,像 hdfs 中就有 namenode、secondNamenode、datanode 等。在 ambari 里面,我们可以创建修改一个叫做 role_command_order.json 的文件,来调整各组件的执行顺序,从而可以调整多.原创 2020-10-25 18:05:49 · 479 阅读 · 0 评论 -
第十二讲:检查服务运行状态以及为服务添加自定义命令
Ambari 还支持 检查服务运行状态 及 为服务添加自定义命令 的功能,实现起来也不复杂。b站搜:create17一、检查服务运行状态1)metainfo.xml在 <service> 标签下添加以下代码,其中 python 文件名称可自定义。<commandScript> <script>scripts/service_check.py</script> <scriptType>PYTHON</scriptT原创 2020-10-25 18:03:37 · 328 阅读 · 0 评论 -
第十一讲:为自定义服务添加主题配置(增强配置)
导读增强配置功能可以指定自定义服务配置项的样式,而无需修改任何 UI 代码。这样可以为服务设置友好的布局,更好的控件(滑块,下拉框,列表,滑块按钮,滑杆,复选框,时间间隔微调器等),取值范围,设置单位(MB,GB,秒,毫秒等)。b站搜:create17一、首先解读 HBase 服务的配置样式主题文件地址:/var/lib/ambari-server/resources/stacks/HDP/3.0/services/HBASE/themes/theme.json二、自定义服务配置主题步骤.原创 2020-10-25 15:22:15 · 441 阅读 · 2 评论 -
第九讲:如何为服务添加 quicklinks 快速链接
一、确定 quicklinks.json 文件位置首先,在 metainfo.xml 文件里面添加:<!-- <quickLinksConfigurations-dir>quicklinks-es</quickLinksConfigurations-dir> --><quickLinksConfigurations> <quickLinksConfiguration> <fileName>quicklink原创 2020-10-24 14:38:18 · 855 阅读 · 0 评论 -
第八讲:如何为服务添加自定义告警
1、Ambari 中 alert 概述Ambari 为了帮助用户鉴别以及定位集群的问题,实现了告警(Alert)机制。在 Ambari 中预告了很多告警,这些告警被用来监测集群的各个模块以及机器的状态。对于告警来说,主要有两个概念,一个是 Alert Definition,一个是 Alert Instance。Alert Definition 就是告警的定义,其中会定义告警的检测时间间隔(interval)、类型(type)、以及阈值(threshold)等。Alert Instance 就是告警的原创 2020-10-24 14:28:23 · 510 阅读 · 0 评论 -
第二讲:metainfo.xml 文件详解
本节主要解释说明一下 metainfo.xml 中常用的一些属性信息原创 2020-10-24 13:44:03 · 1210 阅读 · 0 评论 -
第一讲:自定义服务集成原理讲解
之前,在 github 上开源了 ambari-Kylin 项目,可离线部署,支持 hdp 2.6+ 及 hdp 3.0+ 。github 地址为:https://github.com/841809077/ambari-Kylin ,欢迎 star 。这段时间,陆续有不少朋友通过公众号联系到我,问我相关的集成步骤。今天正好休息,索性将 ambari 自定义服务集成的原理给大家整理出来。B 站搜:create17它其实不难,但是网络上并没有多少这方面的资料分享,官方也很少,所以学习门槛就稍微高了一些。.原创 2020-10-24 13:31:51 · 1165 阅读 · 1 评论 -
第七讲:如何调试自定义服务代码,打印日志
在代码调试的过程中,日志打印是必不可少的一环,它可以打印出变量的实际值,方便我们调试代码。version:Ambari:2.7+1、引入日志方法:在 python 文件中添加:from resource_management.core.logger import Logger Logger.info("Starting sample Service")2、打印参数示例:打印:Script.get_config()clusterHostInfoconfigurati.原创 2020-10-24 11:52:02 · 273 阅读 · 0 评论 -
第六讲:实现在页面上修改或添加服务配置
概述:如何在页面上修改或添加服务配置?在页面上的每一个输入框都对应着 xml 文件中的一个 name-value 。我们可以通过 resource_management 依赖包内的方法来获取对应属性的 value 值。在页面上修改服务配置有两种方式,根据我们的需求来选择需要哪一种。方式一:创建模板文件1)约定俗称:在 package 目录下创建 templates 目录,里面就是存放配置模板的地方。以 kafka 服务为例:在 kafka 的 templates 文件里面有 kafka.con原创 2020-10-24 10:48:40 · 448 阅读 · 0 评论 -
第五讲:Ambari 自定义服务生命周期详解
1、概述本节主要介绍自定义服务的生命周期方法。2、生命周期说明Ambari 自定义服务的生命周期主要有服务的 安装、配置、启动、监听状态、停止、删除(卸载) 操作。在 metainfo.xml 文件中,在 <component> 标签下有 <commandScript> ,该标签指定了该组件要运行使用的 python 文件 。接下来,让我们来看看 master.py 文件里面到底有什么?如上图所示:master.py 文件里面有 install()、configure原创 2020-10-24 10:46:32 · 603 阅读 · 0 评论 -
第四讲:Ambari 自定义服务 python 依赖包的使用详解
1、依赖包说明自定义服务 python 项目依赖的模块是 resource_management,该模块的位置在 /usr/lib/ambari-server/lib/resource_management ,/usr/lib/ambari-agent/lib 目录下也有这个 resource_management 目录 ,这俩目录是一样的,ambari 的自定义服务程序环境就是依赖的这个目录。2、如何获取自定义服务页面上的配置信息?在 Ambari web 页面上,我们打开 自定义服务 的 配置原创 2020-10-24 10:34:12 · 1121 阅读 · 0 评论 -
第三讲:configuration 中 xml 文件详解
1、metainfo.xml 文件内对应的配置说明Ambari 自定义服务的参数配置由 xml 文件管理,默认存放在 configuration 目录下。如果要自定义该目录名称的话,可以在 metainfo.xml 中声明,在 service 标签下设置 configuration-dir 的值:<configuration-dir> 。xml 文件内的大部分(普通)属性都会在 Ambari Web UI 上的 CONFIGS 下展示,内容可编辑修改。xml 被 Ambari Server原创 2020-10-24 10:29:35 · 1476 阅读 · 0 评论 -
Ambari 自定义服务集成原理介绍
之前,在 github 上开源了 ambari-Kylin 项目,可离线部署,支持 hdp 2.6 及 hdp 3.0 。github 地址为:https://github.com/841809077/ambari-Kylin ,欢迎 star 。这段时间,陆续有不少朋友通过公众号联系到我,问我相关的集成步骤。今天正好休息,索性将 ambari 自定义服务集成的原理给大家整理出来。它其实...原创 2019-12-18 15:16:16 · 2143 阅读 · 6 评论 -
第十七讲:如何将服务一劳永逸的集成到ambari中,方便新环境部署,无需二次拷贝...
点击上方蓝色“大数据实战演练”,选择“设为星标”或“置顶”回复“资料”领取独家整理的学习资料!每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。放弃不难,但坚持很酷~一、前言如何将服...原创 2021-03-10 07:55:00 · 725 阅读 · 0 评论 -
第十讲:如何为自定义服务添加监控指标并展示
版本:Ambari:2.7.3.0HDP:3.1.0.0一、metainfo.xml在 metainfo.xml 文件内的 <componment> 里面增加 <timelineAppid> 标签,如下述代码所示:<timelineAppid>elasticsearch</timelineAppid>这里需要注意字段 timelineAppId,该值是唯一的,一般用 Service Name 即可,并且不区分大小写。Metrics Colle.原创 2021-06-07 10:32:03 · 504 阅读 · 0 评论 -
Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群视频完整版
一、前言很多小伙伴也都知道,最近一直在做 Ambari 集成自定义服务的教学笔记和视频。之前在准备 Ambari 环境的时候,考虑到有朋友会在 Ambari 安装部署时遇到问题,所以贴心的我呢,就在搭建 Ambari 环境的时候,把这个视频录制好了,总共时长共 87 分钟,将近1个半小时,附带移除 SmartSense 服务及 FAQ 。也提前介绍一下搭建好的 Ambari 相关版本信息:...原创 2020-02-07 10:36:35 · 1646 阅读 · 4 评论 -
ambari的服务启动顺序如何设置
声明:博主写了一些Ambari系列文章,可以在历史文章中查看。仔细看,肯定会对ambari的自定义服务有一个更清晰的认识。引言:ambari平台系统上的服务有很多,众所周知,每一个服务都是由各个组件所组成。如果我点击页面上的 启动/停止全部服务 或者 启动/停止单个服务,各个组件之间的启动停止顺序是怎么设置的呢?本篇内容为你解除心中的疑问一、Role Command Order...原创 2018-12-13 21:14:26 · 3095 阅读 · 0 评论 -
ambari自定义服务干货
声明:博主写了一些Ambari系列文章,可以在历史文章中查看。仔细看,肯定会对ambari的自定义服务有一个更清晰的认识。版本:ambari 2.6.1一、实时更改服务配置# 以hue的配置文件hue.ini为例File(format("/usr/hdp/2.6.4.0-91/hue/desktop/conf/hue.ini"), content=T...原创 2018-12-13 21:12:12 · 3891 阅读 · 0 评论 -
ambari-server版本比较
本文针对ambari-server v2.6和v2.7之间的源码进行比较,有些功能的实现还是有变化的。该文仅是在工作中将ambari2.6 二次开发的代码迁移到ambari 2.7上产生变化的一个记录。1. @ApiModelProperty2.7版本在org/apache/ambari/server/controller/目录下的xxxRequest.java和xxxResponse....原创 2018-11-25 23:47:45 · 981 阅读 · 0 评论 -
ambari-server api,多表数据关联
前文(ambari-server开发自定义api)提到ambari-server自定义api,来获取一个表的信息。现在有一个需求,就是制作一个api,获取两个表的信息。这两个表中的数据是通过一个字段值是否一致来判断是否关联在一起的。下文会根据每个方法的作用进行说明,没有ambari-server后台开发的经验看起来可能会有些吃力,建议还是多debug后台代码,该文仅作参考。下面以amb...原创 2018-11-25 23:47:03 · 295 阅读 · 0 评论 -
调试ambari-server总结
刚开始debug ambari-server的时候,很多逻辑都是第一次接触。其中有很多知识点还是记录一下的好,做个备忘。这些知识点对于自定义api的开发还是很有作用的。1. api的子href的最后一个字符串如何定义?例如,指定一个id?解答:ambari 2.6编辑key_properties.json,将当前资源类型与含有id的value相映射。举例:ambari 2...原创 2018-11-25 23:44:34 · 669 阅读 · 0 评论 -
ambari-server开发自定义api
声明:博主写了一些Ambari系列文章,可以在历史文章中查看。本文篇幅较长,但都是满满的干货。主要从Ambari-server详解、如何debug ambari-server源码、开发流程分析图、开发流程自定义示例 四大部分教读者如何玩转ambari-server一、Ambari-server详解1. 简介Ambari-Server是一个WEB Server,提供统一的REST A...原创 2018-11-13 23:29:05 · 1489 阅读 · 0 评论 -
ambari-web/admin 前端二次开发
一、Ambari-web二次开发ambari-web可以单独编译,用来修改ambari UI页面。采用ember.js(版本:v1.0.pre)作为前端MVC框架和NodeJS相关工具,用handlebars.js作为页面渲染引擎,在CSS/HTML方面还用了Bootstrap(v2.1.1)框架。Ambari-web目录结构:目录或文件描述app/主要应用程序代码。包...原创 2018-11-13 20:38:51 · 3236 阅读 · 3 评论 -
Ambari2.7整体编译+安装使用
最近Ambari发布了新版本——v2.7.1,支持HDP_3.0.1版本,较Ambari2.6相比,最直观的感觉就是Web UI有了很大的改变,更加的美观;支持的hadoop相关组件,也是较新的版本;同时也增加了很多新特性等等,好处多多,首先来了解一下整体编译,毕竟整体编译过了,才能进行二次开发一、获取Ambari2.7.1源码wget http://www.apache.org/dist...原创 2018-11-12 23:23:21 · 4801 阅读 · 5 评论 -
Ambari2.7.1安装配置
一、配置说明1. 硬件环境节点类型操作系统ip地址主机名说明主节点Centos-7192.168.162.41node1.ambari.com内存:8G+从节点Centos-7192.168.162.42node2.ambari.com内存:8G+从节点Centos-7192.168.162.43node3.ambari.com内存...原创 2018-11-03 23:49:59 · 5642 阅读 · 3 评论