搭建伪分布式和完全分布式
搭建伪分布式
1.在安装的Hadoop目录下的etc/hadoop路径下,找到core-site.xml文件

2.在中写入下面的内容
代码如下,需要根据自身linux情况进行更改主机名和hadoop版本号:
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.X.X/data/tmp</value>
</property>
3.打开hdfs-site.xml,输入如下内容

代码如下,需要根据自身linux情况进行更改主机名:
<!--数据冗余数-->
<property>
<name>dfs.replication</name>
<value>3</value>

本文详细介绍了如何搭建Hadoop的大数据环境,包括从配置伪分布式到实现完全分布式的过程。涉及核心-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml的配置,JAVA_HOME环境变量设置,slaves文件修改,以及通过快照和克隆进行完全分布式搭建。同时,还讲解了如何进行主机名和IP的修改,以及利用Xshell实现多主机间的免密登录。
最低0.47元/天 解锁文章
2361

被折叠的 条评论
为什么被折叠?



