大数据学习笔记(二)

原创于 2020-12-29 15:06:28 发布 · 304 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #hadoop #linux #jdk #java

大数据-hadoop 专栏收录该内容

7 篇文章

订阅专栏

该博客主要介绍了Hadoop环境搭建过程。首先是Java环境搭建，在/opt下创建文件夹存放安装包和解压文件，修改配置文件并刷新环境变量。接着进行Hadoop环境搭建，解压并添加环境变量。最后介绍克隆多台Hadoop服务器，完成基础环境搭建，还提及了配置注意事项。

环境搭建

java环境

1.在/opt 下创建两个文件夹，一个module,一个software

software放安装包，module放安装包解压后的文件

将准备好的jdk和hadoop2.7.2tar包放入software文件夹中
hadoop2.7.2下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

在这里插入图片描述

//解压至/opt/module文件夹下
tar -zxvf  jdk-tar包 -C /opt/module

在这里插入图片描述
修改 /etc/profile文件
加入以下配置，注意自己的路径，相应作出调整

##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_51
export PATH=$PATH:$JAVA_HOME/bin

刷新环境变量

source /etc/profile

在这里插入图片描述
至此，jdk安装完毕

hadoop环境搭建

与安装jdk一样
解压至module文件夹

tar -zxvf hadoop-tar包 -C /opt/module

添加环境变量

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

刷新环境变量后：
在这里插入图片描述
hadoop安装完成

克隆多台hadoop服务器

将准备好的hadoop100主机基本环境配置好后，克隆完整镜像，方便以后搭建hadoop集群
举例-克隆hadoop101
在这里插入图片描述
右击-管理-克隆，创建完整克隆
修改ip

vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
修改主机名

vi /etc/sysconfig/

在这里插入图片描述
配置host

vi /etc/hosts

192.168.18.100 hadoop100
192.168.18.101 hadoop101
192.168.18.102 hadoop102
192.168.18.103 hadoop103
192.168.18.104 hadoop104
192.168.18.105 hadoop105
192.168.18.106 hadoop106
192.168.18.107 hadoop107
192.168.18.108 hadoop108

在这里插入图片描述
验证jdk和hadoop

在这里插入图片描述
至此，两台虚拟机hadoop基础环境搭建完成，后期若需要多台虚拟机搭建集群，同样操作即可

注意事项：
若配置出现如下情况：
在这里插入图片描述

1 停止并禁用虚拟机 NetworkManager 服务
systemctl stop NetworkManager
systemctl disable NetworkManager

2.重新生成MAC网卡地址
在这里插入图片描述

3 重启虚拟机网络服务
systemctl restart network