安装伪分布式Hadoop

最新推荐文章于 2024-08-06 22:59:32 发布

原创最新推荐文章于 2024-08-06 22:59:32 发布 · 1.7k 阅读

58 ·

CC 4.0 BY-SA版权

文章标签：

#分布式 #hadoop #大数据

本文详细描述了如何在Linux环境中安装JDK，设置JAVA环境变量，实现SSH免密登录，以及配置和安装Hadoop和Spark伪分布式环境，还包括Scala的配置过程。

步骤一：安装 JDK

安装命令如下，将安装包解压到/usr/local/src/目录下

[root@master ~]# tar -zxvf /root/hadoop-2.7.1.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/

步骤二：设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_152

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

[root@master ~]# source /etc/profile

检查 JAVA 是否可用。

[root@master ~]# echo $JAVA_HOME /usr/local/src/jdk1.8.0_152

[root@master ~]# java -version

实现免密登陆

步骤一：创建ssh秘钥，输入如下命令，生成公私密钥

[root@master ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

步骤二：将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

[root@master ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub master

[root@master ~]# ssh master

[root@master ~]# exit

环境的安装与配置

步骤一：将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/usr/local/stof/目录下，并将解压文件改名为hadoop

步骤二：修改环境变量

[root@master ~]# vim /etc/profile

export HADOOP_HOME=/opt/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@master ~]# source /etc/profile

步骤三：编辑/usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh文件

[root@master ~]# vi /usr/local/soft/hadoop/etc/hadoop/hadoop-env.sh

修改配置文件为jdk的安装路径：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_152

步骤四：编辑/usr/local/soft/hadoop/etc/hadoop/core-site.xml文件

[root@master ~]# vi /usr/local/soft/hadoop/etc/hadoop/core-site.xml
修改配置文件为：

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>

步骤五：编辑/usr/local/soft/hadoop/etc/hadoop/hdfs-site.xml文件

[root@master ~]# cd /urs/local/soft/hadoop/etc/hadoop

[root@master ~]# vi hdfs-site.xml

修改配置文件：

步骤六：编辑/usr/local/soft/hadoop/etc/hadoop/mapred-site.xml文件

[root@master ~]# cd /urs/local/soft/hadoop/etc/hadoop

[root@master ~]# vi mapred-site.xml

步骤七：编辑/usr/local/soft/hadoop/etc/hadoop/yarn-site.文件

[root@master hadoop]# vi yarn-site.xml

步骤八：编辑/usr/local/soft/hadoop/etc/hadoop/slaves文件

[root@master hadoop]# vi slaves

步骤九：格式化hdfs

[root@master ~]# hdfs namenode -format

步骤十：启动集群 jps查看,登录网页

[root@master ~]# start-all.sh

[root@master ~]# jps

在浏览器的地址栏输入http://master:50070，进入页面可以查看NameNode和DataNode 信息

安装伪分布式spark

步骤一：安装命令如下

[root@master ~]# tar -zxf spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/soft/

步骤二：复制和重命名后得到spark-env.sh，打开spark-env.sh添加内容

[root@master ~]# cd /usr/local/soft/spark-3.2.1-bin-hadoop2.7/conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh
[root@master conf]#