—–为了学习spark 机器学习搭建的集群。为了防止我忘了,做以下说明
使用的系统:centos7,32位
虚拟机1-master 节点位置:E:/32/CentOS 64位 (名字没起好)
虚拟机2-slave 节点位置:E:/32/centos slave
1.安装软件
spark版本:spark-1.2.0-bin-hadoop1,安装路径:/home/zyq/spark-1.2.0-bin-hadoop1/
jdk版本:jdk1.7.0_07 , 安装路径:/home/zyq/java/jdk1.7.0_07
ipython版本:ipython-0.12.1 , 安装路径:/home/zyq/ipython-0.12.1
自带python版本:Python 2.7.5
2.节点配置:vi /etc/hosts
192.168.152.128 master
192.168.152.129 slave
3.配置文件:vi /etc/profile
export JAVA_HOME=/home/zyq/java/jdk1.7.0_07
export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
export PATH=PATH:JAVA_HOME/bin:SPARKHOME/bin:SPARK_HOME/sbin
export SPARK_HOME=/home/zyq/spark-1.2.0-bin-hadoop1