Hadoop伪分布式模式配置并运行wordcount
只有一台虚拟机bigdata128,既是namenode又是datanode。
一、基础安装配置
首先要完成jdk+hadoop的安装配置;
此处附上jdk+hadoop的安装配置的连接:
https://blog.youkuaiyun.com/Wxp_csdn/article/details/90439386
二、修改以下5个配置文件
在< configuration>与< /configuration>之间添加如下property:
①core-site.xml
<!--配置HDFS主节点,namenode的地址,9000是RPC通信端口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录,一定要修改-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/tmp</value>
</property>
②hdfs-site.xml
<!--注释配置数据块的冗余度,默认是3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--secondaryNameNode的主机地址--&

本文详细介绍了如何在Hadoop伪分布式模式下配置系统,包括安装JDK和Hadoop,修改配置文件如core-site.xml、hdfs-site.xml等,并进行NameNode格式化、服务启动。此外,还演示了运行Wordcount示例并验证结果,以及设置SSH免密码登录以简化操作。
最低0.47元/天 解锁文章
1012

被折叠的 条评论
为什么被折叠?



