linux 安装hadoop 的四大运行模式——伪分布模式（版本2.9.1）

最新推荐文章于 2024-04-24 20:37:12 发布

魂——牵

最新推荐文章于 2024-04-24 20:37:12 发布

阅读量623

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop

本文链接：https://blog.youkuaiyun.com/weixin_39435629/article/details/84841252

hadoop 专栏收录该内容

9 篇文章

订阅专栏

本文详细介绍如何从本地模式升级至Hadoop伪分布模式，包括配置文件修改、环境变量设置、SSH免密码登录、守护进程启动及测试步骤，适合初学者快速掌握。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop伪分布模式：hadoop的守护进程在同一台服务器上（具体定义请自行查询）

前提：请在阅读《linux 安装hadoop 的四大运行模式——本地模式》的基础上进行阅读

1、将本地模式的配置文件复制出来建立软连接，便于后续方便使用

运行命令：$>cp -r hadoop/ local (-r 代表文件的递归复制)

删除hadoop文件

命令使用：$>rm -rf hadoop

$>ln -s local/ hadoop

测试输入命令 $>hdfs 查看本地模式是否能否使用

同样为了方便后续的hadoop路径输入：在soft文件下建立hadoop的软连接

$>sudo ln -s /home/hadoop/hadoop/dev/ hadoop (因为我是使用的是hadoop用户如果使用root用户则不需要sudo)

备注记得修改环境变量（也可以不修改）

2、进入hadoop中复制local 为pesudo（伪分布式）

3、进入pseudo文件夹下依次修改一下文件 (最好到官网配置网上找到配置进行粘贴)

官网位置：http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-common/SingleCluster.html

1>core-site.xml

<!--   hadoop文件系统 -->
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost/</value>
	</property>

2>hdfs-site.xml

<!--  hdfs副本数  伪分布 一个副本-->
<property>
			<name>dfs.replication</name>
			<value>1</value>
		</property>

3> mapred-site.xml 注意：cp mapred-site.xml.template mapred-site.xml

<!--  mapreduce框架名 -->
<property>
	<name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

4>yarn-site.xml

备注：注意 value中的h101 一定要修改为本机服务器的hostname

<!--  yarn 管理机器 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>h101</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

4、修改软连接：命令 $>ln -snf pseudo/ hadoop (ln -snf （目标文件）（软连接）)

5、格式化namenode $>hdfs namenode -format (不可缺少)

6、建议在启动前进行SSH免登录设置，不然启动时会多次输入用户密码

链接：https://blog.youkuaiyun.com/weixin_39435629/article/details/84847685

7、任意目录执行 $>start-all.sh (启动hadoop的守护进程)

输入jps命令查看hadoop启动的守护进程

备注：（NodeManager 数据节点管理器）（NameNode 名称节点）（SecondaryNameNode 辅助名称节点）

（DataNode 数据节点）（ResourceManager 资源管理器）

6、测试

链接：http://192.168.44.101:50070 名称节点webUI

名称节点管理器：显示相关hdfs中的数据以及名称节点的状态

资源管理区webUI

链接：http://192.168.44.101:8088/cluster

线上测试数据添加查看，进一步确认数据节点可以使用：

查看文件：$>hdfs dfs -ls /

本机的hdfs数据节点没任何数据

创建test文件后，向文件只中写入数据方便后续查看

将test文件防止到数据仓库中

$>hdfs dfs -put test /

当显示如此时说明整个hadoop的伪分布模式基本OK。

备注：如果有搭建不成功的，建议自行查看资料，或是给我留言，也可查看我后续的文章

配置下载地址：

https://download.youkuaiyun.com/download/weixin_39435629/10868704