centos7配置hadoop伪分布式

最新推荐文章于 2024-07-24 02:10:06 发布

原创最新推荐文章于 2024-07-24 02:10:06 发布 · 407 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

14 篇文章

订阅专栏

本文档详细介绍了在单节点上部署Hadoop伪分布式的全过程，包括禁用防火墙及SELinux、配置SSH免密码登录、设置环境变量、格式化HDFS系统以及启动Hadoop服务等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.停止防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

2.selinux改为disable

vi /etc/selinux/config

SELINUX=disabled

3.配置java

另一个博客里

4.修改ip和hostname

另一博客里

5.ssh免密码登录

useradd hadoop

passwd hadoop输入两次密码

vi /etc/sudoers

这样hadoop用户就可以用 sudo 命令

root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       NOPASSWD: ALL   #加上nopasswd使用sudo时不用密码

hadoop用户

ssh localhost

cd ~

ssh-keygen -t rsa -P '' -f .ssh/id_rsa

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

chmod 600 .ssh/authorized_keys

6.安装伪分布式hadoop

vi /etc/profile

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

cd /usr/local/hadoop

sudo mkdir dfs

cd dfs

sudo mkdir name

sudo mkdir data

cd /usr/local/hadoop/etc/hadoop

6.1添加java_home

在hadoop-env.sh,yarn-env.sh,mapred-env.sh中添加java_home

6.2修改core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>

</configuration>

6.3修改hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>hadoop.namenode.name.dir</name>
<value>/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>hadoop.datanode.data.dir</name>
<value>/usr/local/hadoop/dfs/data</value>
</property>
</configuration>

6.4修改mapred-site.xml

sudo cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

6.5 修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

7格式化hdfs系统

hadoop namenode -format

8.启动hadoop

cd /usr/local/hadoop/sbin

./start-all.sh