Hadoop建设工具Ambari的安装部署及完整使用(二)——准备工作

本文详细介绍了在CentOS7环境中安装Hadoop管理工具Ambari的准备工作,包括安装JAVA环境,配置域名,实现SSH免密码登录,进行NTP时间同步,以及可选的Mysql数据库安装。每一步都提供了具体的命令和操作指南。

二.准备工作

 

关于linux环境创建,yum源配置等基础系统搭建过程就不在此赘述了。以下内容完全是基于centos7环境,root用户。

 

1.安装JAVA环境

1) 下载jdk套件,此处作者使用的是:jdk1.8.0_111 (选择合适的稳定版本即可)

oracle官方下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html

 

2) 将下载的jdk解压至 /usr/java目录下,执行命令

修改文件权限:

chmod -R 777 /usr/java

修改环境变量:

vi /etc/profile

添加内容:

JAVA_HOME=/usr/java/jdk1.8.0_111
PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH JAVA_HOME CLASSPATH CATALINA_HOME


3) 启用新的环境变量,并验证:

source /etc/profile
java –version
javac –version

 效果如图所示:

 

2.域名配置

1) 修改本地域名(必须为FQDN的完整域名形式(Ambari要求)

修改命令:

hostnamectl set-hostname <host-name>

检查修改后的状态:

hostnamectl status

效果如图所示:

 

### 使用Ambari部署和测试Hadoop集群 #### 安装Ambari服务器和服务端组件 为了使用Ambari部署Hadoop集群,首先需要准备环境并安装必要的服务。这包括设置好操作系统、网络配置以及数据库支持。 对于Linux系统而言,可以通过命令行工具`yum`快速完成Ambari Server的安装: ```bash sudo yum -y install ambari-server ``` 接着初始化Ambari Server,并指定JDBC驱动程序的位置以便连接到外部关系型数据库(如MySQL)。这里假设已经下载好了相应的MySQL Connector/J包[^3]: ```bash sudo ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar ``` 创建用于存储Ambari元数据信息的MySQL数据库及其权限授予操作如下所示: ```sql mysql> create database ambari; mysql> use ambari; mysql> CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%'; mysql> FLUSH PRIVILEGES; mysql> source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; ``` 启动Ambari Server之后就可以通过Web界面访问它了,默认地址为http://<server-ip>:8080,在浏览器中打开此URL即可进入下一步骤。 #### 配置节点与选择组件 登录至Ambari Web UI后,按照向导提示输入集群名称和其他基本信息;随后定义各个主机角色分配情况——即哪些机器作为NameNode, DataNode等不同类型的节点参与进来形成分布式文件系统的架构体系结构。此时还需要挑选想要安装的服务列表,比如YARN、MapReduce2、HDFS等等属于核心层的部分,也可以加入更多高级特性像Hive、Pig、Spark等扩展应用[^1]。 #### 执行安装过程 确认无误提交表单以后,Ambari会自动执行一系列脚本来完成实际物理机上的软件分发工作直至最终成功构建起完整Hadoop生态系统实例。期间可能会遇到一些依赖项缺失等问题,则需参照官方文档或社区资源解决相应报错现象[^2]。 #### 测试验证功能正常与否 当所有任务都顺利完成之后便可以着手检验新建立起来的数据处理平台能否正常使用啦!一种简单的方式是在HDFS上上传本地文件再尝试读取查看其内容是否一致;另外还可以编写一段简单的WordCount MapReduce作业代码来进行更深入的功能检测: ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split("\\s+"); for (String w : words) { word.set(w.toLowerCase()); context.write(word, one); } } } public static class SumReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(SumReducer.class); job.setReducerClass(SumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 编译上述Java源码生成可执行jar包后传送到任意一台已知存活状态良好的DataNode上面去运行该应用程序,观察输出结果判断集群健康状况良好程度。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值