spark是性能远超过hadoop的MapReduce的计算框架,它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时,分布式环境是一个较高的门槛,对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。
以下博文将在windows环境下安装spark。
一、环境准备
安装jdk:https://blog.youkuaiyun.com/qq_15903671/article/details/81702284
win下安装hadoop单机版:https://blog.youkuaiyun.com/qq_15903671/article/details/96478320
安装scala(spark是用scala写的):https://blog.youkuaiyun.com/qq_15903671/article/details/96474299
二、下载安装spark
下载地址:http://spark.apache.org/downloads.html
百度网盘备份:链接:https://pan.baidu.com/s/14oNk05Hribr9aGeNg8TaRg 提取码:pjqm