Ubuntu下伪分布式搭建步骤

最新推荐文章于 2024-09-14 17:18:05 发布

ls.qz@qq.com

最新推荐文章于 2024-09-14 17:18:05 发布

阅读量739

点赞数

本文链接：https://blog.youkuaiyun.com/qq_39888535/article/details/88377618

版权

Ubuntu下伪分布式搭建步骤

首先来配置SSH免密码登陆

ssh-keygen -t rsa

此时ssh公钥和私钥已经生成完毕，且放置在_{/.ssh目录下。切换到}/.ssh目录下（如果找不到可以利用find查找）

cd ~/.ssh

ll

在~/.ssh目录下，创建一个空文本，名为authorized_keys

touch ~/.ssh/authorized_keys

存储公钥文件的id_rsa.pub里的内容，追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

执行ssh localhost测试ssh配置是否正确（记得用exit退出）

ssh localhost

创建两个目录（如果是在root账户下创建，则不用修改其权限）

sudo mkdir /apps  
sudo mkdir /data

配置Hadoop。用来存放相关安装工具，如jdk安装包及hadoop安装包（这一步在之前安装部署单机Hadoop时已操作过，只需验证即可）
验证JAVA和hadoop环境变量配置是否正常

java –version
hadoop version

只要正常显示，说明配置没有问题，不用重复配置，如果输入source /etc/profile依旧无法正常显示，则需要重新配置。删除Java和hadoop的安装文件夹后，重新解压这几个文件到指定位置即可。具体做法参考书上P50页单机安装。
10. 接下来修改Hadoop配置文件。切换到hadoop配置目录下（这个根据实际情况，一般根据我的要求，是在/home文件夹下，所以可以在此文件夹下查找，有可能是在：、/home/hadoop/hadoop/etc/hadoop这个目录下）

cd /home/hadoop/hadoop/etc/hadoop

打开hadoop-env.sh配置文件进行修改

sudo vim /home/hadoop/hadoop/etc/hadoop/hadoop-env.sh

其中内容为：

export JAVA_HOME=你实际的java路径地址

打开core-site.xml配置文件

sudo vim /home/hadoop/hadoop/etc/hadoop/core-site.xml

添加下面配置到与标签之间
注意！/data/tmp/hadoop/tmp这个路径的文件夹tmp需要自己创建！

<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/data/tmp/hadoop/tmp</value>  
</property>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://0.0.0.0:9000</value>  
</property>

打开hdfs-site.xml配置文件

sudo vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml

添加下面配置到与标签之间
注意！/data/tmp/hadoop/hdfs这个路径的文件夹hdfs需要自己创建！

<property>  
    <name>dfs.namenode.name.dir</name>  
    <value>/data/tmp/hadoop/hdfs/name</value>  
</property>  
 <property>  
     <name>dfs.datanode.data.dir</name>  
     <value>/data/tmp/hadoop/hdfs/data</value>  
 </property>  
 <property>  
     <name>dfs.replication</name>  
     <value>1</value>  
 </property>  
 <property>  
     <name>dfs.permissions.enabled</name>  
     <value>false</value>  
 </property>

打开mapred-site.xml配置文件

sudo vim /home/hadoop/hadoop/etc/hadoop/mapred-site.xml

添加下面配置到与标签之间

<property>  
     <name>mapreduce.framework.name</name>  
     <value>yarn</value>  
 </property>

打开yarn-site.xml配置文件

sudo vim /home/hadoop/hadoop/etc/hadoop/yarn-site.xml

添加下面配置到与标签之间

<property>  
     <name>yarn.nodemanager.aux-services</name>  
     <value>mapreduce_shuffle</value>  
 </property>

输入sudo vim /home/hadoop/hadoop/etc/hadoop/slaves，打开slaves配置文件（如果找不到，用find搜索）

sudo vim /home/hadoop/hadoop/etc/hadoop/slaves

里面应该是localhost
11. 下面格式化HDFS文件系统

hadoop namenode –format

切换目录到/home/hadoop/hadoop/sbin目录下(如果找不到，用find搜索)

cd /home/hadoop/hadoop/sbin/

启动hadoop的hdfs相关进程

./start-dfs.sh

输入jps查看HDFS相关进程是否已经启动

jps

如果出现至少4个进程，证明启动成功。
注意！结束前记得./stop-all.sh，并删除name和data两个文件夹！！