想学习spark,因为之前已经用3台虚拟机搭建了hadoop-2.6.5,因此找了编类似的博客进行搭建,参考博客为:
Spark2.4+Hadoop2.7+Zookeeper3.4+HBase2.1集群部署
基本照着上面的博客进行搭建环境,现将中途一些具有个人特色的问题及解决方法记录下来。
1、虚拟机连网
之前用的NAT模式设置虚拟机网络,但是不知怎么的不能用了。这次改为使用桥接模式。
具体设置参照博客:VM无法将网络更改为桥接状态:没有未桥接的主机网络适配器
2、当虚拟机的IP出现变动的时候,记得重新修改hosts文件和修改$SPARK_HOME/conf/spark-env.sh中的IP地址。
3、/zookeeper.out: 权限不够的错误
启动zookeeper 服务的时候,最好在zookeeper的home目录去执行命令,即执行:
bin/zkServer.sh start
因为在执行这个启动命令的时候,它会在当前目录生成zookeep.out文件来记录日志,如果当前目录的权限不够,就会报错
./zookeeper.out: 权限不够
4、Spark-Shell启动报错:/usr/spark//bin/spark-shell: 行 44: 6983 已杀死
这是由虚拟机分配内存不足而导致的(均为1G),重新设置虚拟机内存(2G)即可。