hadoop集群搭建

hadoop集群搭建:
1,把共享文件夹中的hadoop-3.0.3.tar.gz (自己下载hadoop)解压到~/soft下 tar -xvf /mnt/hgfs/gx/hadoop-3.0.3.tar.gz -C ~/soft/

2,把解压后的文件夹,改名字为hadoop
mv ~/soft/hadoop-3.0.3/ ~/soft/hadoop

3,修改机器名
先给/etc/hostname文件授予权限,然后再用vi打开,修改 sudo chmod 777 /etc/hostname
vi /etc/hostname 内容改为hadooppd或者和我一样改为 mynn

4,修改机器名和ip映射关系
先给/etc/hosts文件授予权限,然后使用vi打开,修改. sudo chmod 777 /etc/hosts vi /etc/hosts 添加
192.168.123.1 hadooppd 或者
192.168.123.1 mynn 注:这里的192.168.123.1为虚拟机使用ifconfig查询出来的ip地址.
虚拟机在不同的网络下可能ip地址会发生改变.
如果想固定虚拟机中的ip地址可以根据这个网址修改 : https://jingyan.baidu.com/article/db55b609e2b0664ba20a2f72.html

5,配置环境变量 vi ~/.bashrc 在最后一行添加下面内容

export HADOOP_HOME=/home/briup/soft/hadoop 		
export HADOOP_USER_NAME=mynn
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

环境变量立刻生效: source ~/.bashrc

6,修改配置文件:
	6.1:hadoop-env.sh
		vi ~/soft/hadoop/etc/hadoop/hadoop-env.sh
		在37行 修改 
		37 JAVA_HOME=/home/briup/soft/jdk
	6.2:core-site.xml
		vi ~/soft/hadoop/etc/hadoop/core-site.xml
		在configuration标签中添加 
		   <property>
			<name>fs.defaultFS</name>		
			<value>hdfs://mynn:9000</value>
		    </property>
	6.3:hdfs-site.xml
		vi ~/soft/hadoop/etc/hadoop/hdfs-site.xml
		在configuration标签中添加
		<!--hdfs的备份因子，1就是只有一个备份。也就是只有一份-->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
		</property> 
		<!-- hdfs集群的名称 -->
		<property>
			<name>dfs.nameservices</name>
			<!-- hdfs集群的名称可以随意取 -->
			<value>hadoop-cluster</value>
		</property>
		<!-- 配置nameNode第二节点的位置-->
		<property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>hadoopPD:50090</value>
		</property>
		<!-- hdfs集群web访问的地址,
		这句不配置访问的路径就是localhost:9870-->
		<!--<property>
		  <name>dfs.http.address</name>
		  <value>hadoopPD:9870</value>
		</property>-->
		<!-- hdfs集群上 块的大小 -->
		<property>
			<name>dfs.blocksize</name>
			<value>32m</value>
		</property>
		<!-- hdfs集群的namenode(主节点) 运行过程中的中间数据存放位置 -->
		<property>    
			<name>dfs.namenode.name.dir</name>    
			<value>/home/briup/soft/hadoop/da/namenode</value>    
		</property>   
		<!-- hdfs集群的datanode(从节点) 数据存放位置 -->
		<property>    
			<name>dfs.datanode.data.dir</name>    
			<value>/home/briup/soft/hadoop/da/datanode</value>  
		</property>
	6.4:mapred-site.xml
		vi ~/soft/hadoop/etc/hadoop/mapred-site.xml
		<!-- mapReduce使用什么运行,有时候配置了这句会导致mapReduce程序一直卡在67%运行不下去了. -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
		</property>
	6.5:yarn-site.xml：
		vi ~/soft/hadoop/etc/hadoop/yarn-site.xml
		<!-- yarn集群的 resource manager 地址，主机名 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<!-- 这个mynn是计算机名 cmd中hostname可以查看到 -->
			<value>mynn</value>
		</property>
		<!-- 指定resourceManager的网页地址 -->
		<property>
			<name>yarn.resourcemanager.webapp.address</name>
			<value>localhost:8088</value>
		</property>
		<property>
			<name>yarn.nodemanager.local-dirs.hostname</name>
			<value>/home/briup/soft/hadoop/da/namenode</value>
		</property>
		<!-- MapReduce运行的模式是什么，混洗 -->
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
			<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		</property>
		<property>
			<name>yarn.nodemanager.log-dirs</name>
			<value>/home/briup/soft/hadoop/da/yarn/logs</value>
		</property>
7,创建以上用到的文件夹
	mkdir -p ~/soft/hadoop/da/yarn/logs ~/soft/hadoop/da/namenode ~/soft/hadoop/da/datanode
8,初始化hdfs文件系统
	hdfs namenode -format
	注:一定要出现输入Y才算是正常了.不然一直初始化.
	输入命令执行两次出现Y
9,启动namenode:
	hadoop-daemon.sh start namenode
10,启动datanode
	hadoop-daemon.sh start datanode

注: 9 和 10 可以简单实用 start-dfs.sh 一起启动

11,开启resourcemanager

yarn-daemon.sh start resourcemanager
12,开启nodemanager
    yarn-daemons.sh start nodemanager 
注: 11 和 12 可以简单实用 start-yarn.sh 一起启动

注:第一次启动可能会报错,显示CID不匹配的错误.
   解决:去~/soft/hadoop/da/namenode和~/soft/hadoop/da/datanode目录中找到VERSION的文件.编辑.把两个文件夹中的VERSION文件CID值改为相同的,再次启动即可.
13,检测:
	输入jps查看
	briup@mynn:~$ jps
	8481 NameNode
	8956 DataNode
	5886 ResourceManager
	9295 Jps
	有namenode 和 datanode 就成功

	输入ifconfig查看linux的ip地址  192.168.232.128
	在window中浏览器输入 上面看到的ip:9870然后看到hdfs管理界面即可。


resourcemanager : 资源管理器
nodemanager     : 节点管理器