Spark伪分布式启动只有jps没有Master和Worker

配置Spark伪分布式环境的时候，source  /etc/profile之后，jps查看进程中只有jps进程，没有Master和Worker进程。造成这种情况的原因就是配置spark-env.sh和/etc/profile文件的时候Spark主节点的IP和Spark本地的IP配置错误。

解决办法：

首先查看linux的ip

输入语句：ifconfig

 

第一个红框标记的是Spark主节点的IP，第二个红框标记的是Spark本地的IP。

其次，修改配置文件的相关内容。

进入spark安装目录下的conf，修改spark-env.sh文件

cd  /opt/spark-1.6.3-bin-hadoop2.6/conf/

vim spark-env.sh

修改如图的两处IP地址为上面ifconfig查出来的IP

修改完成保存退出

修改/etc/profile文件

vim /etc/profile