Linux系统上搭建hadoop和spark

这篇博客讲述了在Linux系统上安装Hadoop和Spark的过程,包括安装JDK时遇到的环境变量配置问题,单机安装Hadoop的注意事项,以及在安装Spark过程中遇到的Java命令找不到和目录权限问题。博主提醒读者注意不同用户环境下配置文件的区别,并提供了相关资源链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这里不讲具体安装,会给出相应的链接:
1.安装JDK,我这边安装的是jdk1.8.0_191,这个直接去网站上下载安装就好,注意环境变量的配置。
另外,本人遇到的坑是:想要用root权限去安装,然后其他用户能访问,然而发现并不能在别的用户shell下面java -version有输出,显示需要安装Java,很显然我们的环境变量配置是有问题的,所以这个时候目标就是为什么root用户权限下面安装的jdk在其他用户中访问不到,所以这时候我们只需要解决好各个用户条件下的环境变量配置,我需要提到的一个点是:/etc/profile和/.bashrc两个配置文件,我们在root用户下修改的是/etc/profile,而其他用户都修改了~/.bashrc文件,具体点击链接:root和非root用户jdk配置
2.安装Hadoop,这个的话可以参考一个链接:单机安装Hadoop,主要注意点就是配置/etc/hosts的时候会需要重启才起作用,另外IP地址如果是单机的话直接用localhost就可以,这一块问题不大
3.接下来就是坑多多,我们安装spark,可以参考链接:spark安装,我遇到的问题是:一直找不到Java命令,你说奇怪不奇怪,后来莫名其妙弄了好多次就成功啦,后来还是需要无法

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值