我的笔记本上的spark集群

本文详细介绍了一个基于CentOS7系统的Spark集群搭建过程。集群包括一个Master节点和一个Slave节点,使用了Spark 1.2.0版本及JDK 1.7.0_07,并配置了必要的环境变量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

—–为了学习spark 机器学习搭建的集群。为了防止我忘了,做以下说明

使用的系统:centos7,32位
虚拟机1-master 节点位置:E:/32/CentOS 64位 (名字没起好)
虚拟机2-slave 节点位置:E:/32/centos slave

1.安装软件

spark版本:spark-1.2.0-bin-hadoop1,安装路径:/home/zyq/spark-1.2.0-bin-hadoop1/
jdk版本:jdk1.7.0_07 , 安装路径:/home/zyq/java/jdk1.7.0_07
ipython版本:ipython-0.12.1 , 安装路径:/home/zyq/ipython-0.12.1
自带python版本:Python 2.7.5

2.节点配置:vi /etc/hosts

192.168.152.128 master
192.168.152.129 slave

3.配置文件:vi /etc/profile

export JAVA_HOME=/home/zyq/java/jdk1.7.0_07
export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar
export PATH=PATH:JAVA_HOME/bin:SPARKHOME/bin:SPARK_HOME/sbin
export SPARK_HOME=/home/zyq/spark-1.2.0-bin-hadoop1

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值