hadoop环境搭建

最新推荐文章于 2024-11-04 16:23:02 发布

大岛君

最新推荐文章于 2024-11-04 16:23:02 发布

阅读量151

点赞数

CC 4.0 BY-SA版权

分类专栏：面试笔记

本文链接：https://blog.youkuaiyun.com/myloveprogrmming/article/details/83478379

面试笔记专栏收录该内容

217 篇文章

订阅专栏

本文详细介绍了在CentOS上搭建Hadoop环境的步骤，包括虚拟机配置、网络设置、防火墙关闭、用户权限分配、目录结构创建、JDK及Hadoop安装等关键环节，为大数据开发人员提供全面的操作指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop环境搭建：

基础虚拟机的准备：centos100
[1]配置IP 网段.100
[2]配置主机名 hadoop100
[3]配置主机名和IP的映射(使得使用主机名时相当于在使用IP)
root@Hadoop100 Desktop]# vi /etc/hosts
添加内容：
192.168.79.100 hadoop100
192.168.79.101 hadoop101
192.168.79.102 hadoop102
192.168.79.103 hadoop103
192.168.79.104 hadoop104
192.168.79.105 hadoop105
192.168.79.106 hadoop106
[4]修改windows的主机映射文件 
C:\Windows\System32\drivers\etc 下的hosts文件
添加内容：
192.168.79.100 hadoop100
192.168.79.101 hadoop101
192.168.79.102 hadoop102
192.168.79.103 hadoop103
192.168.79.104 hadoop104
192.168.79.105 hadoop105
192.168.79.106 hadoop106
[5]关闭防火墙
注意：虚拟机和windows互相ping一下，保证网络畅通

克隆基础虚拟机:
克隆会把网卡也克隆，所以要修改网卡信息
#vim /etc/udev/rules.d/70-persistent-net.rules
将eth0部分删掉
将eth1改名为eth0
复制这个文件里的mac地址
#vim /etc/sysconfig/network-scripts/ifcfg-eth0 把网卡地址粘贴过来，改IP
#vim /etc/sysconfig/network 修改主机名
重启让修改生效


5.创建hadoop用户(因为在公司中用的都是普通用户)
[root@Hadoop101 Desktop]# useradd hadoop
[root@Hadoop101 Desktop]# passwd hadoop
id hadoop查看是否创建成功
6.配置hadoop用户具有root权限(目的是为了可以用sudo命令)
[root@Hadoop101 Desktop]# vim /etc/sudoers
:set nu设置显示行号
91+shift+g 跳到91行
 91 root    ALL=(ALL)       ALL
 92 hadoop  ALL=(ALL)       ALL

7[1]在/opt目录下创建module(存软件解压后的文件)、software(存软件的tar包)文件夹
[root@Hadoop101 Desktop]# cd /opt
[root@Hadoop101 opt]# mkdir software module
 [2]修改module、software文件夹的所有者
[root@Hadoop101 opt]# chown hadoop:hadoop module software

8安装jdk(hadoop用到jvm)
把jdk的压缩包放到/otp/software目下
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /opt/module/ 解压
[hadoop@Hadoop101 ~]$ sudo vim /etc/profile设置环境变量，在最后一行添加：
export JAVA_HOME=/opt/module/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
[hadoop@Hadoop101 ~]$ source /etc/profile 使这个配置文件立即生效
9安装hadoop
解压缩包
设置环境变量，在末位追加：
export HADOOP_HOME=/opt/module/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
让它立即生效
注：企业一般不用3以上的版本，hadoop2和hadoop3差距很大
10用hadoop运行程序：
[1]hadoop的目录结构：
	/opt/module/hadoop-2.7.1/bin 存放命令
	/opt/module/hadoop-2.7.1/sbin 存放和系统启动相关的命令
	/opt/module/hadoop-2.7.1/etc 存放配置文件(经常用)
	/opt/module/hadoop-2.7.1/etc/hadoop 里面有很多.xml(配置文件)
	/opt/module/hadoop-2.7.1/lib 存放一些本地库(so为c语言程序后缀)
	/opt/module/hadoop-2.7.1/share 存放jar包