Spark 独立服务器的配置

  • 首先介绍下我们的条件
    • 两台主机,都是ubuntu 16.4 192.168.46.128(master) 192.168.46.130(cluster)
    • 两台主机的用户名都为liang
    • 两台主机的spark都为2.1.0 都放置在/usr/local/spark/目录下
  • 确保128可以ssh连接到130
    • ubuntu 一般自带的有ssh client 但是我们想让130被链接,我们要给130配置ssh server
    • apt-get install openssh-server
    • ps -s | grep ssh 查看有没有sshd服务启动,如果没有/etc/init.d/ssh start 启动服务
    • 我们可以在128上测试 ssh 192.168.46.130 看能否连接至130
    • 如果觉得ssh输入密码麻烦,http://chenlb.iteye.com/blog/211809 无密码ssh登陆
  • 修改主节点下的conf/slaves
    image
  • 启动所有的节点

    • 在主节点上运行 sbin/start-all.sh 启动所有的节点
    • 运行http://localhost:8080 查看管理页面
      image
    • 运行pyspark –master spark://ubuntu:7077 来测试,我们可以在localhost:8080上看到我们的程序
      image

    image

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值