大数据学习——win环境下spark安装教程

本文档详细介绍了如何在Windows环境下安装Spark,包括环境准备,如安装JDK、Hadoop单机版和Scala,以及从官方和网盘下载Spark并进行解压。在确保所有依赖正确配置后,通过启动`spark-shell`进行命令行测试,完成简单的单词统计操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark是性能远超过hadoop的MapReduce的计算框架,它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时,分布式环境是一个较高的门槛,对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。

以下博文将在windows环境下安装spark。

一、环境准备

安装jdk:https://blog.youkuaiyun.com/qq_15903671/article/details/81702284

win下安装hadoop单机版:https://blog.youkuaiyun.com/qq_15903671/article/details/96478320

安装scala(spark是用scala写的):https://blog.youkuaiyun.com/qq_15903671/article/details/96474299

二、下载安装spark

下载地址:http://spark.apache.org/downloads.html

百度网盘备份:链接:https://pan.baidu.com/s/14oNk05Hribr9aGeNg8TaRg 提取码:pjqm  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值