Ubuntu安装hadoop并做单机测试

本文详细介绍了如何在本地环境中搭建Hadoop 2.7.7版本的单机集群,包括配置JDK、下载与解压Hadoop、设置环境变量、配置hosts文件、增加用户权限以及进行单机测试等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.配置jdk

见前文

2. 下载解压hadoop

这里以2.7.7版本为例,将文件剪切到/usr/local里面并更改名字为hadoop方便后续配置


3. 为hadoop配置jdk版本呢

设置hadoop目录下的env文件,hadoop/etc/hadoop-env.sh文件,注意这里的etc是在hadoop目录下的etc,大家注意命令执行的路径,在里面定义jdk目录,建议将hadoop_homepath也定义一下



4. 为hadoop设置环境变量

这里直接设置~/.bashrc,设置相关配置即可,HADOOP_HOME是我的hadoop文件路径,大家根据个人情况更改即可,最后的PATH因为我在bashrc里面同时配置了jdkhadoophbase,所以如果有和我情况相同的小伙伴建议将PATH下在一起,像注释那样



5. 设置ip映射

配置hosts文件,为主机增加IP映射



6. 增加用户并授权

一般我们测试的时候都会使用hadoop或者hduser一类的用户,当测试的时候切换到对应用户并进行操作,也可以使用其他用户(主机用户),但是记得对用户进行授权,否则当后面操作的时候会因为不能访问文件而导致错误。



7. 单机测试

进入hadoop目录,建立input文件夹,复制几个文件当作输入数据源(这里采用的是hadoop/etc/*.xml),然后执行haddop自带的关键字提取方法进行检验,将结果输出到output文件当中,__注意:__二次实验时需要事先删除output文件



8. 结果

执行完毕后目录下会出现output文件夹,查看里面的文件的内容即可




转载于:https://juejin.im/post/5d00a6046fb9a07ee9586893

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值