linux搭建hadoop环境

最新推荐文章于 2025-04-17 22:18:59 发布
最新推荐文章于 2025-04-17 22:18:59 发布
阅读量1.1k 收藏 12
点赞数 2
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44719527/article/details/104560392
版权

一、搭建思路

1. 拥有配置好的Linux操作系统
2. 将hadoop2.7.2.tar.gz 和jdk1.8.0_144.tar.gz
3. 配置jdk和hadoop的环境变量
4. 配置hadoop的相关配置
5. 启动并且访问web页面

6.安装遇到的问题和解决方法在本篇文章结尾处说明

二、环境说明

1. 物理机win10系统
2. 虚拟机LinuxCentOS6.10
3. Hadoop版本 hadoop2.7.2
4.jdk版本 jdk1.8.0_144

三、搭建步骤

1.修改hosts文件

(1)命令：vim /etc/hosts 添加内容
(2)说明：192.168.xx.xxx是主机IP(ifconfig查看本机IP) hadoop101是主机名

 192.168.xx.xxx hadoop101

(2)修改主机名,将HOSTNME的值改为hadoop101，与hosts文件的主机名映射一样

vim /etc/sysconfig/network

在这里插入图片描述
(3)关闭防火墙,这里设置为永久关闭

chkconfig iptables off

(4)重启虚拟机

reboot

2.上传文件压缩包

（1）这里有很多方法，比如建立物理机与虚拟机共享文件夹
或者直接yum install -y lszrz， 也可以使用其他远程连接工具，比如 CRT，Xshell等。总之就是将hadoop2.7.2.tar.gz和jdk1.8.0_144.tar.gz在物理机导入Linux中放入/opt/software(我存所有tar.gz的目录)
上传好的两个压缩包

3.解压

  1. 解压hadoop2.7.2.tar.gz (/opt/module这是解压到的目录必须提前创建好)
  2. 执行命令：tar -zxvf hadoop2.7.2.tar.gz -C /opt/module
  3. 解压jdk1.8.0_144.tar.gz
  4. 执行命令：jdk1.8.0_144.tar.gz -C /opt/module
  5. -C 字母c是大写 意思是解压到非当前目录
    解压好的两个包

4.配置环境变量

1.命令：vim /etc/profile 在文件末尾添加
添加内容

##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

2.说明：JAVA_HOME=/opt/module/jdk1.8.0_144
(1)export 声明为全局变量
(2)JAVA_HOME = 解压后的jdk路径
(3)PATH= P A T H : PATH: PATH:JAVA_HOME/bin 配置到bin目录下面的可执行命令
(4)hadoop的以此类推，意思一样
3. source /etc/profile 使修改后的文件生效
4.java -version查看是否配置好java的环境变量

5.配置Hadoop的相关配置

  1. 以下要配置的文件都在hadoop的解压目录下的etc/hadoop目录下。如果之前跟我一样，那么现在路径应该/opt/module/hadoop-2.7.2/etc/hadoop。此时位置在/opt/module/hadoop-2.7.2/
  2. vim etc/hadoop/core-site.xml在configuration标签里添加代码后保存
<!-- 指定HDFS中NameNode的地址 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop101:9000</value>
        </property>

        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-2.7.2/data/tmp</value>
        </property>

3.vim etc/hadoop/hadoop.env.sh
找到原有的JAVA_HOME = ???
修改为jdk的解压路径后保存
在这里插入图片描述
4.vim etc/hadoop/ hdfs-site.xml 在configuration标签里添加元素后保存

<!-- 指定副本数量 -->
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

5.vim etc/hadoop/yarn-site.xml 在configuration标签里添加元素后保存

<!-- reducer获取数据的方式 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>

<property>  
    <name>yarn.log-aggregation-enable</name>  
    <value>true</value>  
</property>

6.vim etc/hadoop/yarn-env.sh 添加jdk的解压路径 并将原有的#去掉
在这里插入图片描述
7.vim etc/hadoop/mapred.en.sh 添加jdk的解压路径 并将原有的#去掉
在这里插入图片描述
8.将mapred-site.xml.template 改名为mapred-site.xml并添加内容

       <!-- 指定mr运行在yarn上 -->
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop101:10020</value>
        </property>
        <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hadoop101:19888</value>      
        </property>

至此所有相关配置已经完成

四、格式化Namenode

在这里插入图片描述

bin/hdfs namenode -format

只需要格式化一次 以后启动一定不要格式化

五、启动进程

一定要在此路径下才会有tab键的提示
此路径才会找到sbin
HDFS进程,需要等待几秒后，每启动换一个进程就jps查看，如果没有启动就去文章末尾看解决办法
(1)先启动namenode

sbin/hadoop-daemon.sh start namenode

(2)启动datanode

sbin/hadoop-daemon.sh start datanode

yarn进程
(3)启动yarn的resourcemanager

sbin/yarn-daemon.sh start resourcemanager

(4) 启动nodemanager

sbin/yarn-daemon.sh start nodemanager

(5)启动历史服务，日志查看进程

mr-jobhistory-daemon.sh start historyserver

(6)查看当前运行在jvm上的进程

jps

在这里插入图片描述
(7)启动方式还有群起脚本，如果执行上述启动命令，以下两个命令不需要执行，如果使用这个脚本启动需要ssh免密 ，详见https://blog.youkuaiyun.com/qq_44719527/article/details/104670797
1）启动HDFS

sbin/start-dfs.sh

2)启动Yarn

sbin/start-yarn.sh

六、访问web端页面

(1)访问HDFS

http://主机IP:50070/

在这里插入图片描述
(1)访问yarn

http://主机IP:8088/

在这里插入图片描述

七，常见的问题

(1)namenode无法启动：
1)查看hosts文件的ip 与主机名是否对应，ip有没有改动过
2)配置完主机名后是否重启
3)如果是格式化多次或进程未停止就格式化会导致 data/tmp/dfs/name/current 和data/tmp/dfs/data current下的 VERSION里面的clusterID不同
需要删除 data 和logs两个目录 再次格式化或手动修改
4)检查环境变量是否配置成功
5)检查刚才的配置文件哪里出错。。。。
(2)dataname无法启动：
1)如果是格式化多次会或进程未停止就格式化导致 data/tmp/dfs/name/current 和data/tmp/dfs/data current下的 VERSION里面的clusterID不同
需要删除 data 和logs两个目录 再次格式化或手动修改
2)检查配置文件是否出错
3)查看日志拍错

(2)浏览器访问不到页面
1）打开网络或共享中心------>更改适配器选项。查看这两项是否开启，若没有将两项开启
在这里插入图片描述
(2)Linux的防火墙是否已经关闭，关闭后是否重启。。。
(3) 打开 cmd 窗口 ping Linux的ip
例如：ping 192.168.xx.xxx

写作不易，如果对您有所帮助，请给一个小小的赞，您的点赞是对我莫大的支持和鼓励,谢谢！！！

【详细版】Linux系统中搭建Hadoop
weixin_55928290的博客
11-01 5041
修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下，修改以下配置。进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群，需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN。切换/opt/tools目录下，rz上传Hadoop安装包。
Linux搭建Hadoop集群（详细步骤）
沃和莱特的博客
10-07 3132
Hadoop集群搭建
Hadoop0.20.2版本在Ubuntu10下安装和配置
u013646747的博客
06-28 245
1、安装JDK　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK　　     sudo apt-get install sun-java6-jdk　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容　　     export JAVA_HOME = （Java安装目录）　　     export CLASSPATH = ".:$JAVA_HO...
配置 SSH 免密登录到 Linux 主机
最新发布
ANiy520的博客
04-17 498
在 Windows 10 系统中，你可以通过以下步骤配置 SSH 免密登录到 Linux 主机。Windows 10 自带的 OpenSSH 客户端可以完成这一任务。
Hadoop搭建（Linux）
qq_42373068的博客
03-28 609
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.youkuaiyun.com/catinlbb/article/details/110159895 因为今天安装时候发现完全按照上述这篇大佬写的文章有些地方会出问题，所以整理了一下现在安装Hadoop的一些注意点和步骤，基本流程与上述一致。【2022.3.28】 目录 版本信息1 安装JDK2 安装Hadoop3 修改Hadoop配置文件4 配置ssh免密登录5 启动Hadoop
Linux下搭建Hadoop环境
weixin_36699299的博客
03-12 334
安装jdk 解压 tar -zxvf jdk-8u171-linux-x64.tar.gz - C/usr/local 设置环境变量 vim /etc/profile 在结尾加入 export JAVA_HOME=/usr/local/jdk1.8 export PATH=.:${JAVA_HOME}/bin:$PATH 使配置生效 source /etc/profile 测试 ...
Linux环境下搭建hadoop环境
THanHan的博客
06-29 516
一，安装jdk和hadoop 1，通过Xftp 6将软件包传到虚拟机上 2，解压软件包 tar -zxvf 需要解压的包名 -C /usr/local 3，配置环境 vim /etc/profile jdk： export JAVA_HOME=路径 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:$
linux下搭建hadoop环境步骤分享
01-20
、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586....
Linux环境搭建Hadoop及完全分布式集群
cleverstronge的博客
03-10 2834
本人通过学习Hadoop以及搭建Hadoop集群所整理的快速搭建完全分布式集群代码模板
Linux搭建Hadoop开发环境
04-24
NULL 博文链接：https://mazhilin.iteye.com/blog/2415060
linux搭建hadoop平台
july0404的专栏
04-18 658
linux搭建hadoop平台linux搭建hadoop平台 软件预下载 安装 配置环境 查看版本 配置hadoop 配置SSH HDFS 创建用户目录 开启deamons 进行具体的操作 关闭deamons软件预下载 hadoop： wget http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz wge
Linux中Hadoop的环境搭建
qq_38983002的博客
03-18 216
一：下载安装 Hadoop 1.1：下载指定的Hadoop 1.2：通过XFTP把文件上传到master电脑bigData目录下 1.3：解压hadoop压缩文件 tar -xvf hadoop-2.8.0.tar.gz 1.4：进入压缩文件之后 复制路径 /bigData/hadoop-2.8.0 1.5：配置Ha...
linux下hadoop 环境搭建
l576754326的博客
12-29 2176
准备 3台linux 分别hostname为: node-1,node-2,node-3 vi /etc/sysconfig/network HOSTNAME=yourhostname #保存 hostname yourhostname hostname 安装 JDK 并配置 环境变量 通过xshell等ssh 工具 查看3台机子的时间是否一致(需通过成一致的时间) xshell 查看-撰写-撰写窗口-全部会话(可以在敲一遍命名 在所有窗口生效) Vi /etc/hosts 12..
Hadoop之—— Linux搭建hadoop环境（简化篇）
冰河的专栏
05-16 3123
1、安装JDK（此处以安装JDK1.6为例，具体安装JDK的版本不限） 　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK 　　     sudo apt-get install sun-java6-jdk 　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容 　　     export JAVA_HOME = （Java安装目录）
在linux中搭建hadoop开发环境
何秋森的博客
12-27 6735
在linux中搭建hadoop开发环境     一、在windows上安装linux双系统   hadoop是运行在linux下的并行计算框架，在windows上搭建也是通过cygwin模拟linux的环境来运行，所以个人觉得直接在windows下搭建hadoop几乎没有任何好处，还不如在windows上安装linux的虚拟机，通过虚拟机中的linux系统来运行hadoop。所以安装li...
安装hadoop
h102897的博客
04-10 3085
一、Hadoop伪分布式框架的部署 1、打开虚拟机，准备Linux环境 1.1 开启网络,ifconfig指令查看ip 1.2 修改主机名为自己名字(hadoop) vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop 1.3修改主机名和IP的映射关系 vim /etc/hosts 192.168.182.128 hadoop 1.4关闭防火墙 1.4.1查看防火墙状态 service iptables status 1.4.2关闭防火墙 ser
Linux环境下配置Hadoop环境
weixin_40165317的博客
10-24 800
Linux：centOS 7 jdk：1.8 准备： 1. 关闭三台服务器的防火墙： systemctl stop firewalld.service 开机时禁止启动防火墙： systemctl disable firewalld.service 查看防火墙状态： firewall-cmd --state 一. 配置Hadoop环境 Java的环境配置不多赘述了，可以参考...
Linux系统搭建Hadoop集群
我玩的很开心的博客
06-25 2312
Linux系统搭建hadoop集群 一、准备工作 安装包下载： 使用Oracle VM VirtualBox 创建Linux虚拟机： https://blog.youkuaiyun.com/and52696686/article/details/106837909 将IP地址设为：192.168.56.131 设置主机名：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值