Hadoop建设工具Ambari的安装部署及完整使用(三)——部署安装

本文详细介绍了如何部署安装Ambari-server,包括在线和离线两种方式,以及配置和启动Ambari-server的步骤。在离线安装中,提到了下载Ambari和资源库,通过http服务创建本地镜像,并修改ambari.repo文件。后续配置过程中,强调了使用mysql作为数据库时的操作,如放置mysql驱动,执行sql脚本建库,并通过命令行进行ambari-server的配置和启动。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

三.部署安装


1.安装Ambari-server

在线安装

1) 在hortonworks公共资源库,选择ambari仓库地址并下载

wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo

 

2) 将ambari.repo文件拷贝到yum源 /etc/yum.repos.d/ 目录下

mv ambari.repo /etc/yum.repos.d/


3) 获取该公共库的所有源文件列表,确定是否含有ambari 

yum clean all
yum list | grep ambari

 

4) yum安装ambari-server

yum install ambari-server -y

 

离线安装

1) 首先在官网下载对应版本的ambari和对应的资源库

软件下载地址:http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.2.0/bk_ambari-instal

### 使用Ambari部署和测试Hadoop集群 #### 安装Ambari服务器和服务端组件 为了使用Ambari部署Hadoop集群,首先需要准备环境并安装必要的服务。这包括设置好操作系统、网络配置以及数据库支持。 对于Linux系统而言,可以通过命令行工具`yum`快速完成Ambari Server的安装: ```bash sudo yum -y install ambari-server ``` 接着初始化Ambari Server,并指定JDBC驱动程序的位置以便连接到外部关系型数据库(如MySQL)。这里假设已经下载好了相应的MySQL Connector/J包[^3]: ```bash sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar ``` 创建用于存储Ambari元数据信息的MySQL数据库及其权限授予操作如下所示: ```sql mysql> create database ambari; mysql> use ambari; mysql> CREATE USER &#39;ambari&#39;@&#39;%&#39; IDENTIFIED BY &#39;ambari123&#39;; mysql> GRANT ALL PRIVILEGES ON *.* TO &#39;ambari&#39;@&#39;%&#39;; mysql> FLUSH PRIVILEGES; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; ``` 启动Ambari Server之后就可以通过Web界面访问它了,默认地址为http://<server-ip>:8080,在浏览器中打开此URL即可进入下一步骤。 #### 配置节点与选择组件 登录至Ambari Web UI后,按照向导提示输入集群名称和其他基本信息;随后定义各个主机角色分配情况——即哪些机器作为NameNode, DataNode等不同类型的节点参与进来形成分布式文件系统的架构体系结构。此时还需要挑选想要安装的服务列表,比如YARN、MapReduce2、HDFS等等属于核心层的部分,也可以加入更多高级特性像Hive、Pig、Spark等扩展应用[^1]。 #### 执行安装过程 确认无误提交表单以后,Ambari会自动执行一系列脚本来完成实际物理机上的软件分发工作直至最终成功构建起完整Hadoop生态系统实例。期间可能会遇到一些依赖项缺失等问题,则需参照官方文档或社区资源解决相应报错现象[^2]。 #### 测试验证功能正常与否 当所有任务都顺利完成之后便可以着手检验新建立起来的数据处理平台能否正常使用啦!一种简单的方式是在HDFS上上传本地文件再尝试读取查看其内容是否一致;另外还可以编写一段简单的WordCount MapReduce作业代码来进行更深入的功能检测: ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w.toLowerCase()); context.write(word, one); } } } public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(SumReducer.class); job.setReducerClass(SumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 编译上述Java源码生成可执行jar包后传送到任意一台已知存活状态良好的DataNode上面去运行该应用程序,观察输出结果判断集群健康状况良好程度。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值