spark2.4+hadoop-2.6.5+hbase+zookeeper 环境搭建

想学习spark,因为之前已经用3台虚拟机搭建了hadoop-2.6.5,因此找了编类似的博客进行搭建,参考博客为:
Spark2.4+Hadoop2.7+Zookeeper3.4+HBase2.1集群部署

基本照着上面的博客进行搭建环境,现将中途一些具有个人特色的问题及解决方法记录下来。

1、虚拟机连网

之前用的NAT模式设置虚拟机网络,但是不知怎么的不能用了。这次改为使用桥接模式。
具体设置参照博客:VM无法将网络更改为桥接状态:没有未桥接的主机网络适配器

2、当虚拟机的IP出现变动的时候,记得重新修改hosts文件和修改$SPARK_HOME/conf/spark-env.sh中的IP地址。

3、/zookeeper.out: 权限不够的错误

启动zookeeper 服务的时候,最好在zookeeper的home目录去执行命令,即执行:

 bin/zkServer.sh start

因为在执行这个启动命令的时候,它会在当前目录生成zookeep.out文件来记录日志,如果当前目录的权限不够,就会报错

./zookeeper.out: 权限不够

4、Spark-Shell启动报错:/usr/spark//bin/spark-shell: 行 44: 6983 已杀死

这是由虚拟机分配内存不足而导致的(均为1G),重新设置虚拟机内存(2G)即可。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值