Hadoop建设工具Ambari的安装部署及完整使用（一）——介绍

最新推荐文章于 2025-05-30 16:11:46 发布
最新推荐文章于 2025-05-30 16:11:46 发布
阅读量1.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop 文章标签： hadoop ambari 大数据 集群部署 hadoop部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/BalaBalaYi/article/details/64904822

一.介绍（请详见百度百科等链接）


1.Hadoop介绍

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”

Hadoop目前隶属于Apache基金会，是当今最为完善的开源大数据解决方案。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。


百度百科：

http://baike.baidu.com/link?url=pIJEM8x2axShnDoH9EK57MJ58CwBmI3o9ob0t01cGtH8sJCxPnqaZBvpIqZJe-khQID4QopeemTKVLjQbmcyqK

apache hadoop:

http://hadoop.apache.org/

2.Ambari介绍

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项
最低0.47元/天 解锁文章

200万优质内容无限畅学
使用 Ambari 安装 Hadoop 集群
Leo's Blog
06-29 3655
一.环境:    1.Ubuntu 14.04    2.Ambari 2.5.0   3.JDK1.8 二:说明:   1.使用 root 用户   2.如果仅用作 demo 使用,不建议单机开多台 vm,除非你的机器内存大于32G,使用单台vm执行以下步骤即可.   3.如果有多台机器可做集群,则给不同的机器设置不同的域名即可,如 [ ubuntu0.com, ubuntu1.c
Hadoop建设工具Ambari的安装部署及完整使用（三）——部署安装
BalaBalaYi的博客
03-22 1450
三.部署安装 1.安装Ambari-server 在线安装 1) 在hortonworks公共资源库，选择ambari仓库地址并下载 wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo   2) 将ambari.repo文件拷贝
使用Ambari在线安装Hadoop集群
如果能思维清晰，从上往下，不断深入，就好了~~~
11-30 392
Ambari在线安装 1.创建虚拟机：导入镜像文件、以光盘启动      本人自己使用3台虚拟机搭建小集群 2.关机：修改启动项 -> 硬盘启动、桥接模式 3.重启之后：ifconfig、测试网络连通性 ping www.baidu.com             service sshd start             chkconfig sshd on 4.xshell操...
Ambari3.0安装部署教程(手把手教学）
最新发布
yunnuo的博客
05-30 1348
本文介绍了在CentOS 8环境中安装Apache Ambari 3.0和Bigtop 3.0集群的详细步骤。首先配置服务器环境，包括设置固定IP、主机名映射、SSH免密登录和基础工具安装。然后安装Java环境（JDK 8和17），并详细说明了通过压缩包安装JDK 17的方法。接着配置NTP时间同步服务，确保集群时间一致。最后为后续MySQL和Nginx服务安装Docker环境。文章提供了从系统配置到基础环境搭建的完整流程，为后续Ambari安装和集群部署做好准备。
部署Ambari
qq_41099527的博客
03-29 3012
部署Ambari和Hadoop 1.修改网络配置（所有机器） 进入网卡配置 # vi /etc/sysconfig/network-scripts/ifcfg-ens33 注意：ifcfg-ens33是自己的网卡名称，使用下面命令可以查看自己的网卡名称，如果不一样，修改为自己的即可 # cd /etc/sysconfig/network-scripts BOOTPROTO 设置为 static，ONBOOT 设置为 yes 加入 IPADDR、NETMASK、GATEWAY、DNS1等，（如果存在可以
基于Ambari的Hadoop集群的搭建（下）
m0_74973672的博客
12-29 1571
基于ambari的Hadoop集群的搭建
hadoop集群监控工具ambari安装
热门推荐
东杰书屋
08-22 1万+
Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apa
Hadoop建设工具Ambari的安装部署及完整使用（四）——Ambari使用之集群建立
BalaBalaYi的博客
03-22 2403
四.Ambari使用——建立集群1.登录并创建集群1) 以管理员登录ambari-server,用户名和密码默认为：admin/admin 2) 点击【Launch Install Wizard】开始安装集群 3) 给集群命名 4) 选择版本及对应的远程或本地仓库地址远程仓库设置：直接选择即可 本地仓库设置：1.从官网下载HDP和HDP UTILS下载地址：http://docs.hortonwo
Hadoop建设工具Ambari的安装部署及完整使用（二）——准备工作
BalaBalaYi的博客
03-22 1209
二.准备工作   关于linux环境创建，yum源配置等基础系统搭建过程就不在此赘述了。以下内容完全是基于centos7环境，root用户。   1.安装JAVA环境 1) 下载jdk套件，此处作者使用的是：jdk1.8.0_111 （选择合适的稳定版本即可） oracle官方下载地址：http://www.oracle.com/technetwork/java/javase/down
Hadoop建设工具Ambari的安装部署及完整使用（五）——Ambari使用之集群卸载
BalaBalaYi的博客
03-28 3079
五.Ambari使用——卸载集群 ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展（无法完全清除服务和主机）。因此本人通过实践，也整理了一份手动卸载脚本： 注：因为此脚本只是根据作者实践以及其它网络资料整理而成，所以脚本内容一定不全（目前尚不清楚官方是否提供官方版本）。但是各位看官稍微了解ambari的安装目录结构即可进一步完善
Ambari集群部署全流程
m0_70082703的博客
05-01 816
安装Apache sudo yum -y install httpd 将Apache设置为开机启动 sudo systemctl enable httpd 启动Apache sudo systemctl start httpd 测试访问 [http://192.168.186.164](() 3.2 HDP安装部署到apache 通过FTP上传RPM安装包到服务器上 移动安装包到 /var/www/html/目录下 sudo mv ambari-2.7.4.0-cento.
Ambari介绍、安装与应用案例
12-06
Ambari介绍、安装与应用案例，一键式搭建大数据平台，让我们更好的去应用和学习大数据平台
hadoop集群监控工具Apache Ambari安装配置教程
zxsted的专栏
11-02 1323
hadoop集群监控工具Apache Ambari安装配置教程 出处：caoyuanzhanlang 作者：草原战狼 日期：2013-3-6 11:42:25 [大 中 小] 评论: 0 | 我要发表看法 Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop M
【Ambari】用Python写一个Ambari的运维工具（一）
Meepoljd的博客
07-18 1267
前端时间忙完了安全漏洞修复相关的工作后可算是闲下来一些了，想着写点什么，正好遇到客户放强推堡垒机，以后VPN这些连接环境的手段就无法使用了，而客户这边的堡垒机访问web页面的体验那真是一言难尽，所以为了能够方便做一些日常的运维、启停的操作，想写一个命令行工具，用来对接ambari，开个坑先，如果内部团队用的好的话，说不定以后再把这个继续做下去:D...
大数据平台Ambari2.7.4+HDP3.1.4详细安装教程
csdnuser267的博客
10-19 1602
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，同样还提供了集群状况仪表盘，通过界面方便用户查看问题及管理组件。
Ambari和大数据集群部署（精华）
a391000181的博客
09-30 283
(个人经历，如有问题请于评论区提出宝贵意见)踩了无数的坑，终于将ambari和大数据集群部署成功了，请一定要按照步骤仔细操作，避免出现问题。 英文官方文档链接：https://docs.hortonworks.com/HDPDocuments/Ambari-2.5.1.0/bk_ambari-installation/bk_ambari-installation.pdf 基础环境操作...
Ambari安装之部署3个节点的HA分布式集群
weixin_33910385的博客
03-27 354
       前期博客 Ambari安装之部署单节点集群      　　其实，按照这个步骤是一样的。只是按照好3个节点后，再做下HA即可。     部署3个节点的HA分布式集群 （1）添加机器 和添加服务的操作类似，如下图 之后的添加ambari03、ambari04操作就和部署ambari02类似，可以参照前面的步骤。这里不多赘述。 Ambari安装之部署单节...
Hadoop2.7.1 集群部署及自动化脚本
白杨的专栏
10-30 1万+
实验环境操作系统：ubuntu 14.04 64位 主机名 IP namenode 10.107.12.10 datanode1 10.107.12.20 datanode2 10.107.12.50 datanode3 10.107.12.60 jdk 安装实验安装的是jdk1.7.0_71版本，具体安装步骤及环境变量设置参考这里。SSH 无密登录下面是我写的
ambari自动化Hadoop部署
围城
09-22 1185
20200922 - 0. 引言 几年前为了处理大量的日志，简单学习了hadoop的内容，之后就在自己的几台破PC上进行了实验，当时安装的方式步骤大致如下： 利用expect脚本完成免密登陆 利用clush进行集群管理，比如传输文件，或者文件及命令更新 之前还想过利用docker的形式来部署，但是好像是存在一些问题的，并不是那么简单，虽然我当时部署一个单机的成功了。不过，现在想想，这种基础服务，最好还是直接逻辑部署比较好。 今天在看zeppelin的时候，发现了另外的一个工具ambari，可以自动完成H
ambari部署hadoop集群测试
12-31
### 使用Ambari部署和测试Hadoop集群 #### 安装Ambari服务器和服务端组件 为了使用Ambari来部署Hadoop集群，首先需要准备环境并安装必要的服务。这包括设置好操作系统、网络配置以及数据库支持。 对于Linux系统而言，可以通过命令行工具`yum`快速完成Ambari Server的安装： ```bash sudo yum -y install ambari-server ``` 接着初始化Ambari Server，并指定JDBC驱动程序的位置以便连接到外部关系型数据库（如MySQL）。这里假设已经下载好了相应的MySQL Connector/J包[^3]: ```bash sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar ``` 创建用于存储Ambari元数据信息的MySQL数据库及其权限授予操作如下所示: ```sql mysql> create database ambari; mysql> use ambari; mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%'; mysql> FLUSH PRIVILEGES; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; ``` 启动Ambari Server之后就可以通过Web界面访问它了，默认地址为http://<server-ip>:8080，在浏览器中打开此URL即可进入下一步骤。 #### 配置节点与选择组件 登录至Ambari Web UI后，按照向导提示输入集群名称和其他基本信息；随后定义各个主机角色分配情况——即哪些机器作为NameNode, DataNode等不同类型的节点参与进来形成分布式文件系统的架构体系结构。此时还需要挑选想要安装的服务列表，比如YARN、MapReduce2、HDFS等等属于核心层的部分，也可以加入更多高级特性像Hive、Pig、Spark等扩展应用[^1]。 #### 执行安装过程 确认无误提交表单以后，Ambari会自动执行一系列脚本来完成实际物理机上的软件分发工作直至最终成功构建起完整的Hadoop生态系统实例。期间可能会遇到一些依赖项缺失等问题，则需参照官方文档或社区资源解决相应报错现象[^2]。 #### 测试验证功能正常与否 当所有任务都顺利完成之后便可以着手检验新建立起来的数据处理平台能否正常使用啦！一种简单的方式是在HDFS上上传本地文件再尝试读取查看其内容是否一致；另外还可以编写一段简单的WordCount MapReduce作业代码来进行更深入的功能检测： ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w.toLowerCase()); context.write(word, one); } } } public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(SumReducer.class); job.setReducerClass(SumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 编译上述Java源码生成可执行jar包后传送到任意一台已知存活状态良好的DataNode上面去运行该应用程序，观察输出结果判断集群健康状况良好程度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值