Hadoop伪分布式安装-一条龙服务，欢迎留言问题

Hadoop伪分布式安装

提前需要准备的软件和安装包

VMware12，Xshell，Xftp

CentOS-7-x86_64-DVD-2009.iso

jdk-8u152-linux-x64.tar.gz，hadoop-3.0.0.tar.gz

---

linux小技巧

1.Linux严格区分大小写，一定要注意大小写
2.vim使用比vi好，vim有颜色区分，配置出现错误可以更容易发现
3.出现错误不要立即百度，要独立先看问题的意思，最近几步是否有错误
4.一定要写开发操作文档，避免写完就忘
5.针对配置文档的书写，我强烈推荐要用Typora，最好还准备一个英语的翻译，降低错误率，方便改bug

1.安装VMware12，Xshell，Xftp

很简单的安装

有种情况是本机网络dns变化也会导致xshell自动断开连接，这种情况通过修改ssh配置文件将其中“UseDNS yes”去掉注释并改成no即可，过程如下。

gidet /etc/ssh/sshd_config

UseDNS no

2.安装CnetOS7和配置

建议菜鸟网教程

2.1设置IP

桌面右上角Wired-Wired Settins-设置

2.2修改主机名

hostnamectl set-hostname hadoop0

2.3配置hosts文件

vim /etc/hosts

在末尾加上一行
192.168.0.102 hadoop0

2.4关闭防火墙

操作防火墙的命令 start restart
systemctl stop firewalld.service  #关闭防火墙
systemctl status firewalld.service #查看防火墙的状态
systemctl disable firewalld.service #开机禁用防火墙

2.5禁用selinux

vim /etc/selinux/config
找到SELINUX
修改SELINUX=disabled

2.6设置SSH免密码登录

cd /root/.ssh
rm -rf *   
ssh-keygen -t dsa         #生成密钥
cat id_dsa.pub >>authorized_keys #复制到SSH指定的密钥文件authorized_keys

ssh hadoop0 #测试密钥是否成功，如果不需要密码

3.安装JDK

cd /usr/local/
tar -xvf jdk-8u152-linux-x64.tar.gz

3.1配置环境

mv jdk1.8.0_152/ jdk

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

环境和hadoop一起发出来

3.2测试

java -version

4.安装Hadoop

cd /usr/local/
tar -xvf hadoop-3.0.0.tar.gz
mv hadoop-3.0.0 hadoop

4.1配置环境

vim /etc/profile
#对应了hadoop五个进程的账号
export HDFS_NAMENODE_USER=root 
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

export HADOOP_HOME=/usr/local/hadoop

source /etc/profile

图片2

4.2配置Hadoop-env.sh

cd /usr/local/hadoop/etc/hadoop/

vim hadoop-env.sh
JAVA_HOME=/usr/local/jdk

图片3

4.3配置core-site.xml

vim core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop0:9000/</value>
    <description>NameNode URI</description>
</property>

图边4

4.4配置hdfs-site.xml

vim hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop/data/datanode</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop/data/namenode</value>
</property>
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop0:50070</value>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop0:50090</value>
</property>

图片5

配置yarn-site.xml

vim yarn-site.xml

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop0:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop0:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop0:8050</value>
</property>

图片6

5.Hadoop验证

5.1格式化

hadoop namenode -format

图片7

重新格式化

stop-all.sh
cd /usr/local/hadoop/
rm -rf data/ logs/
hadoop namenode -format

5.2 启动Hadoop

start-all.sh

stop-all.sh

图片8-依次启动五个进程

5.3 查看Hadoop相关进程

jps

图片9 进程号 进程名

5.4浏览文件

hadoop fs -ls /

图片10 -新建的Hadoop，文件不存在的

5.5浏览器访问

http://192.168.0.102:50070
http://hadoop0:50070

图片11-大功告成，666

好兄弟们给个赞，听说给赞的考试和四六级面试都必过
联系博主QQ851477108
备注csdn