本文介绍了如何部署和测试Spark的local模式，包括配置spark-env.sh，启动master和worker，以及通过UI和jps检查进程状态。此外，还详细讲解了Spark的不同运行模式，如Local、Standalone、Mesos和YARN，并提供了使用Spark Shell进行测试的例子，如读取本地文件进行单词计数，展示了缓存数据的效果。
废话少说直接上部署方案
部署方案,为了便于测试我将采用local的模式，master 和worker 都在同一个节点上,sprk-0.9.1.0
cd conf目录下配置spark-env.sh，添加如下配置项
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_MEMORY=1g
export MASTER=spark://${SPARK_MASTER_IP}:${SPARK_MASTER_PORT}
SPARK_MASTER_WEBUI_PORT=8090#修改访问集群监控的端口号，默认8080
配置slaves，添加运行worker的节点
hadoop00
启动spark集群（伪分布式单节点）
sbin/start-all.sh
通过UI页面查看是否启动成功，或者通过jps查看master和worker进程是否存在
最低0.47元/天 解锁文章
扫一扫
1797
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
