- 首先介绍下我们的条件
- 两台主机,都是ubuntu 16.4 192.168.46.128(master) 192.168.46.130(cluster)
- 两台主机的用户名都为liang
- 两台主机的spark都为2.1.0 都放置在/usr/local/spark/目录下
- 确保128可以ssh连接到130
- ubuntu 一般自带的有ssh client 但是我们想让130被链接,我们要给130配置ssh server
- apt-get install openssh-server
- ps -s | grep ssh 查看有没有sshd服务启动,如果没有/etc/init.d/ssh start 启动服务
- 我们可以在128上测试 ssh 192.168.46.130 看能否连接至130
- 如果觉得ssh输入密码麻烦,http://chenlb.iteye.com/blog/211809 无密码ssh登陆
- 修改主节点下的conf/slaves
启动所有的节点
- 在主节点上运行 sbin/start-all.sh 启动所有的节点
- 运行http://localhost:8080 查看管理页面
- 运行pyspark –master spark://ubuntu:7077 来测试,我们可以在localhost:8080上看到我们的程序
Spark 独立服务器的配置
最新推荐文章于 2025-06-20 12:09:50 发布