Linux中如何安装配置Hadoop?

本文详细介绍了在Linux系统中安装配置Hadoop的步骤,包括下载Hadoop、上传到Linux、解压、配置环境变量、配置相关XML文件、格式化HDFS、分发配置到多台机器以及启动HDFS的过程。
部署运行你感兴趣的模型镜像

1、官网下载Hadoop(此处就不细讲了,这里我用的是hadoop-2.6.1.tar.gz版本)
2、将下载下来的hadoop上传到Linux的的当前用户文件夹中
3、复制hadoop到/usr文件夹中
cp hadoop-2.6.1.tar /usr
4、在/usr中解压,(解压后得到文件夹hadoop-2.6.1),并重命名为hadoop
tar -xzvf hadoop-2.6.1.tar.gz
mv hadoop-2.6.1 hadoop
5、进入到hadoop文件夹中进行配置
cd etc/hadoop(注意这个命令的前提是当前文件夹为/etc/hadoop)
6、开始配置hadoop
1)配置hadoop-env.sh
vi hadoop-env.sh
添加JDK路径,即在这里插入图片描述
2)配置core-site.xml
vi core-site.xml
在这里插入图片描述
3)配置hdfs-site.xml
vi hdfs-siet.xml
在这里插入图片描述
4)配置mapred-site.xml
在这里插入图片描述
5)配置yarn-site.xml
在这里插入图片描述
6)配置slave文件(就是将原来文件里面的内容删除,然后添加3台虚拟机的主机名)
在这里插入图片描述
7、然后到/usr/hadoop/bin下,执行hadoop格式化
hdfs namenode -format
8、将Hadoop添加到环境变量中:vi /etc/profile
在这里插入图片描述
9、加载配置文件(否则在后面输入hdfs命令时,会提示没有这个命令,或者命令找不到)
source /etc/profile
10、将hadoop和p配置文件分发到另外两台机上
scp -r /usr/hadoop cx1:/usr
scp -r /usr/hadoop cx2/usr
scp /etc/profile cx1:/etc
scp /etc/profile cx2/etc
11、一定记得在另外两台机上source一下分发过去的配置文件
source /etc/perofile
12、启动HDFS
start-dfs.sh
13、然后分别在三台服务器上输入命令jps,表明安装成功在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Kotaemon

Kotaemon

AI应用

Kotaemon 是由Cinnamon 开发的开源项目,是一个RAG UI页面,主要面向DocQA的终端用户和构建自己RAG pipeline

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值