Linux系统上搭建hadoop和spark

这篇博客讲述了在Linux系统上安装Hadoop和Spark的过程,包括安装JDK时遇到的环境变量配置问题,单机安装Hadoop的注意事项,以及在安装Spark过程中遇到的Java命令找不到和目录权限问题。博主提醒读者注意不同用户环境下配置文件的区别,并提供了相关资源链接。

这里不讲具体安装,会给出相应的链接:
1.安装JDK,我这边安装的是jdk1.8.0_191,这个直接去网站上下载安装就好,注意环境变量的配置。
另外,本人遇到的坑是:想要用root权限去安装,然后其他用户能访问,然而发现并不能在别的用户shell下面java -version有输出,显示需要安装Java,很显然我们的环境变量配置是有问题的,所以这个时候目标就是为什么root用户权限下面安装的jdk在其他用户中访问不到,所以这时候我们只需要解决好各个用户条件下的环境变量配置,我需要提到的一个点是:/etc/profile和/.bashrc两个配置文件,我们在root用户下修改的是/etc/profile,而其他用户都修改了~/.bashrc文件,具体点击链接:root和非root用户jdk配置
2.安装Hadoop,这个的话可以参考一个链接:单机安装Hadoop,主要注意点就是配置/etc/hosts的时候会需要重启才起作用,另外IP地址如果是单机的话直接用localhost就可以,这一块问题不大
3.接下来就是坑多多,我们安装spark,可以参考链接:spark安装,我遇到的问题是:一直找不到Java命令,你说奇怪不奇怪,后来莫名其妙弄了好多次就成功啦,后来还是需要无法创建目录的情况,我试着给他权限,试着修改文件夹变成可读可写还是不行,可能这一块是我操作有问题,然后我切到root权限,发现能成功,不能够理解的是我在Hadoop用户下做的一系列操作在当前Hadoop环境下却不能够执行,而在root用户权限下成功执行,另外,大大吐槽一下那几个下载太慢了吧,慢到我怀疑电脑怀疑网络怀疑人生,呼呼,好歹爬完这个坑,接下来,可能会试着在Linux18.04上面接着弄我的spark环境,希望它真的在我的数据处理中速度快快快,fightin

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值