Hadoop伪分布式部署

最新推荐文章于 2023-10-08 16:54:24 发布

wenwen16.

最新推荐文章于 2023-10-08 16:54:24 发布

阅读量162

点赞数

本文链接：https://blog.youkuaiyun.com/weixin_38729343/article/details/94509726

版权

这篇博客详细介绍了如何在Linux环境中进行Hadoop伪分布式部署，包括所需软件版本（Hadoop 2.6.0-cdh5.7.0和JDK 8u45），安装SSH服务，以及部署步骤，如创建用户、部署JDK、配置环境变量、解压和设置Hadoop文件、配置hadoop-env.sh、core-site.xml和hdfs-site.xml，设置SSH免密码和初始化HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、使用软件

Hadoop版本:hadoop-2.6.0-cdh5.7.0
JDK版本：jdk-8u45-linux-x64
Linux安装ssh服务

二、官方链接

CDH(www.cloudera.com)
http://archive.cloudera.com/cdh5/cdh/5/
http://www.apache.org/
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2-changes.log
#慎用CDH5.11.0

三、伪分布式Hadoop部署

1、wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
或 rz上传hadoop文件

2、创建专门维护的用户 hadoop

3、JDK部署

#jdk的目录必须放在/usr/java
#如文件夹未创建mkdir -p /usr/java
#JDK解压的时候用户和用户组发生变更必须修正
#修改用户和用户组的命令：chown -R root:root /usr/java/jdk1.8.0_45
#配置全局环境变量 vi /etc/profile进入vi模式末行输入JAVA HOME=/usr/java/jdk1.8.0_45/

4、创建4个文件夹software，app，data，log
移动hadoop文件到software文件夹下面，改变hadoop用户和用户组

[hadoop@hadoop001 ~]$ pwd
/home/hadoop
[hadoop@hadoop001 ~]$ mkdir app software data log

[root@hadoop001]# mv hadoop-2.6.0-cdh...gz  /home/hadoop/software/
[root@hadoop001]# cd /home/hadoop/software/
[hadoop@hadoop001 software]$ chown hadoop:hadoop /home/hadoop/software/
[hadoop@hadoop001 software]$ ll
total 304292
drwxr-xr-x. 15 hadoop hadoop      4096 Jul  2 11:48 hadoop-2.6.0-cdh5.7.0
-rw-r--r--.  1 hadoop hadoop 311585484 Jul  2 15:24 hadoop-2.6.0-cdh5.7.0.tar.gz

5、解压并做软连接，将软连接放在app目录下

[hadoop@hadoop001 software]$ tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop@hadoop001 software]$ ln -s /home/hadoop/software/hadoop-2.6.0-cdh5.7.0 /home/hadoop/app/hadoop
[hadoop@hadoop001 software]$ cd ../app
[hadoop@hadoop001 app]$ ll
lrwxrwxrwx. 1 hadoop hadoop 43 Jul  2 10:36 hadoop -> /home/hadoop/software/hadoop-2.6.0-cdh5.7.0

6、（1）vi hadoop-env.sh
#The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_45

（2）vi core-site.xml
不得删除第一行和第二行内容，第一行内容和第二行内容是标识是xml格式

#补充<configuration>里面的内容
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（3）vi hdfs-site.xml

#补充<configuration>里面的内容
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

7、ssh免密码设置

[hadoop@hadoop001 ~]$ ssh-keygen
[hadoop@hadoop001 ~]$ cd ssh
[hadoop@hadoop001 .ssh]$ cat id_rsa.pub >> authorized_keys
[hadoop@hadoop001 .ssh]$ chmod 600 authorized_keys
[hadoop@hadoop001 .ssh]$ ssh localhost date
Sun Jun 30 21:36:58 CST 2019

8、格式化namenode
由于linux是linux文件系统，HDFS相当于文件系统，不认可，有自己的文件系统格式（successfully formatted）

[hadoop@hadoop001 hadoop]$ pwd
/home/hadoop/app/hadoop
[hadoop@hadoop001 hadoop] bin/hdfs namenode -format

9、启动hadoop

[hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh
[root@hadoop001 jdk1.8.0_45]# netstat -nlp|grep 50070
tcp        0      0 0.0.0.0:50070               0.0.0.0:*                   LISTEN      5640/java           
[root@hadoop001 jdk1.8.0_45]# 
#通过50070端口，浏览器访问http://服务器IP:50070访问

或者

	[hadoop@hadoop001 sbin]$ jps
	4887 DataNode
	5208 Jps
	4795 NameNode
	5100 SecondaryNameNode
	[hadoop@hadoop001 sbin]$