在Python集成开发环境中调用Spark MLlib

Python拥有众多优秀的机器学习库如Scikit-Learn，然而这些机器学习库都在单机上运行，不支持集群上的分布式机器学习。Spark MLlib是Spark的机器学习库，并且支持Python。在Spark集群上想用Python开发分布式机器学习程序，又要用Python集成开发环境，可按如下步骤操作。集群环境为Redhat6.5+Spark1.2.0。选择集群上的一台主机作为开发机，执行如下操作。

1. 安装Anaconda
选择linux for Python 2.7版本，目前MLlib只支持Python2，下载地址。
在终端下执行bash Anaconda-2.1.0-Linux-x86_64.sh安装，按提示选择yes。

2. 安装Gnome桌面环境
已安装桌面环境的可略过此步。

3. 打开/etc/inittab文件，将 runlevel 变为5，即修改为id:5:initdefault: 如果原来就是5，则不用修改。

4. 编辑/etc/gdm/custom.conf，添加如下内容：
[daemon]
RemoteGreeter=/usr/libexec/gdmgreeter
[security]
AllowRemoteRoot=true
[xdmcp]
Enable=true 
[greeter]
Browser=true

5. 开放防火墙中的UDP 177端口。若已禁用防火墙，则可跳过此步。
在/etc/sysconfig/iptables文件中加入：
 -A RH-Firewall-1-INPUT -m state --state NEW -m udp -p udp --dport 177 -j ACCEPT

6. 重启主机
需要注意此主机在集群上的角色，最好独立于HDFS并且不运行任何集群服务，这样比较方便。

7. 客户端设置
在Windows客户端安装XManager，打开XBrowser，输入主机IP，登录到主机桌面。

8. 设置集成开发环境
打开终端，输入Spyder，打开Spyder IDE。点击[Tools]->[PYTHONPATH manager], 在弹出对话框中添加两个Python路径：
$SPARK_HOME/python
$SPARK_HOME/python/build
$SPARK_HOME替换为主机实际的Spark根目录，
注意关掉Python Console再重新打开，设置才会在Python Console中生效。

9. 编写机器学习程序
在文件开始处import pyspark就可使用MLlib了。具体参考官方文档。