安装前的工作:
- jdk
- 集群中节计算机互联互通
- 关闭防火墙
- 节点间的计算机免密码登录(authorized_keys认证文件root用户存放在/root/.ssh/)
(User用户 /home/user/.ssh/)
A计算机免密码登录B计算机,将A计算机的公钥存放在B计算机的认证文件authorized_keys
产生
安装hadoop
Bin目录-命令eg : hadoop namenode -format
Sbin目录-各种启动文件\停止服务
Etc/hadoop/ 各种配置文件
1.hadoop-env.sh 环境配置
export JAVA_HOME=${
JAVA_HOME}
[root@NAME250 hadoop]# echo $JAVA_HOME
/software/jdk1.8.0_65
[root@NAME250 hadoop]#
2.core-site.xml 核心配置
3.hdfs-site.xml
4.yarn-site.xml
5. mapred-site.xml cp mapred-site.xml.template mapred-site.xml
6. slaves 从节点计算机
7. masters主节点配置
配置core-site.xml(如图1-60所示)。
[root@master hadoop]# vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>//master是主节点namenode主机名:9000端口号
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/tmp</value>
</property>
备注:如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉,必须重新执行format才行,否则会出错。
7)配置hdfs-site.xml(如图1-61所示)。
[root@master hadoop]# vi hdfs-site.xml
<property>