hadoop--hdfs伪分布式部署

一.创建单独的管理用户

useradd  hadoop

二.准备需要安装的tar包

[hadoop@ruozedata001 ~]$ wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

三.准备相应版本的java环境（最好参照官网）

1.通过rz命令将jdk-8u45-linux-x64.gz 上传到root根目录

	[root@ruozedata001 ~]# ls
	jdk-8u45-linux-x64.gz  mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz  ruozedata

2.创建目录/usr/java/

[root@ruozedata001 ~]# mkdir /usr/java/   //注意，jdk安装包必须解压到这个目录，因为hadoop很多组件直接在这个目录去找java环境

3.将jdk解压到/usr/java/

	[root@ruozedata001 ~]# tar -zxvf  jdk-8u45-linux-x64.gz  -C  /usr/java/

4.修改解压后的/usr/java/jdk1.8.0_45的属主和属组

	[root@ruozedata001 ~]# chown  -R root:root   /usr/java/jdk1.8.0_45
	[root@ruozedata001 ~]# ll /usr/java/jdk1.8.0_45/
total 25972
drwxr-xr-x 2 root root     4096 Apr 11  2015 bin
-r--r--r-- 1 root root     3244 Apr 11  2015 COPYRIGHT
drwxr-xr-x 4 root root      115 Apr 11  2015 db
drwxr-xr-x 3 root root      125 Apr 11  2015 include
-rw-r--r-- 1 root root  5172312 Mar 10  2015 javafx-src.zip
drwxr-xr-x 5 root root     4096 Apr 11  2015 jre
drwxr-xr-x 5 root root     4096 Apr 11  2015 lib
-r--r--r-- 1 root root       40 Apr 11  2015 LICENSE
drwxr-xr-x 4 root root       44 Apr 11  2015 man
-r--r--r-- 1 root root      159 Apr 11  2015 README.html
-rw-r--r-- 1 root root      525 Apr 11  2015 release
-rw-r--r-- 1 root root 21099089 Apr 11  2015 src.zip
-rw-r--r-- 1 root root   110114 Mar 10  2015 THIRDPARTYLICENSEREADME-JAVAFX.txt
-r--r--r-- 1 root root   178403 Apr 11  2015 THIRDPARTYLICENSEREADME.txt
[root@ruozedata001 ~]# ll /usr/java/
total 4
drwxr-xr-x 8 root root 4096 Apr 11  2015 jdk1.8.0_45

5.配置java的全局环境变量

vim  /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=${JAVA_HOME}/bin/:$PATH

6.查看java环境变量是否配置好

[root@ruozedata001 ~]# which java
/usr/java/jdk1.8.0_45/bin/java

四.规划安装目录

[hadoop@ruozedata001 ~]$ mkdir  app   software  data   logs 

五.解压hadoop-2.6.0-cdh5.7.0.tar.gz文件并做软连接

[hadoop@ruozedata001 software]$ tar -zvxf  hadoop-2.6.0-cdh5.7.0.tar.gz 
[hadoop@ruozedata001 software]$ ln -s   /home/hadoop/software/hadoop-2.6.0-cdh5.7.0   /home/hadoop/app/hadoop
注意：1.这里也可以把解压后的文件拷贝到/home/hadoop/app目录下，并改名hadoop.
2.之所以在这里做软连接的好处：方便以后版本更新
3.做软链接时，如果是在不同目录，必须都是绝对路径，以免做不成功

六.配置

1.在hadoop目录下修改配置文件

[hadoop@ruozedata001 hadoop]$ vim  etc/hadoop/hadoop-env.sh 
 export JAVA_HOME=/usr/java/jdk1.8.0_45  
 	注意：虽然${java_home}和/usr/java/jdk1.8.0_45  这个一样，但还是必须这样改，不然有可能找不到java环境，这是hadoop 的bug

2.在hadoop目录下修改配置文件

	etc/hadoop/core-site.xml:
<configuration>
 <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

etc/hadoop/hdfs-site.xml:
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

3.无密码认证

	[hadoop@ruozedata001 hadoop]$ ssh-keygen 后面直接按回车就行
	[hadoop@ruozedata001 ~]$ cd .ssh
	[hadoop@ruozedata001 .ssh]$   cat  id_rsa.pub >> authorized_keys
	[hadoop@ruozedata001 .ssh]$  chmod 600 authorized_keys
	[hadoop@ruozedata001 .ssh]$ ssh localhost date
	Mon Jul  1 16:25:05 CST 2019

七 格式化hdfs文件系统

[hadoop@ruozedata001 hadoop]$ bin/hdfs namenode -format

八.启动

[hadoop@ruozedata001 hadoop]$ sbin/start-dfs.sh 
[hadoop@ruozedata001 hadoop]$ jps
14800 DataNode
14673 NameNode
14973 SecondaryNameNode
15405 Jps
[hadoop@ruozedata001 hadoop]$ 

然后也可以用web访问http://localhost:50070/