2301_78156049的博客

原创 spark集群的分布式安装与部署

如果你按照 3 安装Spark和配置环境变量 和 4 设置Spark相关的配置的流程，分别在hadoop1、hadoop2、hadoop3机器上进行了配置，那么就不需要分发操作了。因为我们此前配置了环境变量，将spark/sbin目录添加了进来，所以我们只需要使用 start-all.sh 指令即可。这里因为把hadoop1里的环境变量传到了hadoop2和hadoop3里，所以，这里需要分别在hadoop2，hadoop3里使用 source 命令来使环境变量生效。1.修改spark-env.sh文件。