windows10——64位搭建大数据Spark环境（单机版的）

最新推荐文章于 2024-05-11 20:31:23 发布
原创 最新推荐文章于 2024-05-11 20:31:23 发布 · 2.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark搭建 #大数据 #学习文章 #hodoop

本文介绍了如何在Windows 10 64位系统上搭建大数据Spark单机环境，包括安装配置JDK 1.8、Hadoop 2.7，确保安装路径无空格，设置相关环境变量，并解决winutils.exe权限问题。通过修改log4j.properties文件减少启动时的日志输出，最后简述了Pyspark的配置与交互使用。

Spark版本：2.3.1 （最新版）

hadoop版本：2.7

jdk版本：1.8.0

scala版本：官网最新版

第一步：首先安装jdk 

一定要注意安装路径，我是安装在C盘，因为spark 环境搭建路径不能出现空格。

设置环境变量：

首先是JAVA_HOME 路径：C:\Java\jdk1.8.0_121

然后是CLASSPATH 路径： .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;

测试：CMD 输入java & javac 不报错，就说明你安装好啦！

接下来安装hadoop啦！

我的解压路径：

如法炮制：配置环境变量，和java一样有两个路径。

最低0.47元/天 解锁文章
window环境下安装大数据环境
Alex的博客
08-30 848
window环境下安装大数据环境
Windows 10 系统下的 Spark 环境搭建
qq_27239289的博客
05-07 382
目标：在windows下搭建一个spark运行环境，先进行单机开发，再把开发的程序提交到服务器上的spark环境运行。本小节是scala的安装与配置（1）去到scala官网下载需要的scala版本，这里选择的版本和服务器上的版本一致，为2.12.4. 下载网址为：           https://www.scala-lang.org/download/all.html        (2)  ...
Ubuntu下搭建spark2.4环境（单机版）
Tattoo
11-23 1035
说明：单机版的Spark的机器上只需要安装JDK即可，其他诸如Hadoop、Zookeeper（甚至是scala）之类的东西可以一概不安装。 集群版搭建：Spark2.2集群部署和配置 一、安装JDK1.8 1、下载JDK1.8，地址 2、将下载的文件保存在 /home/qq/java下，进行解压，解压后文件夹为 jdk1.8.0_171： tar -zxvf jdk-8u171-linux-i5...
Spark2.1.0在windows下的单机环境搭建
用时间去蜕变
01-19 8561
该文用于讲解在windows下spark开发环境的搭建 因为现在网上的搭建多在于旧版本中，且还原系数难度很大 材料准备 spark安装包 JDK 8 IDEA开发工具 scala 2.11.8 (注：spark2.1.0环境于scala2.11环境开发，所以必须版本对应 scala不是必须安装的，如果你是打算使用scala进行spark开发，则需要安装 ...
安装spark1.3.1单机环境
apple01010105的博客
04-27 229
本文介绍安装spark单机环境的方法，可用于测试及开发。主要分成以下4部分： （1）环境准备 （2）安装scala （3）安装spark （4）验证安装情况 1、环境准备 （1）配套软件版本要求：Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala ...
win10下Spark的环境搭建
weixin_33937913的博客
08-19 241
win10下Spark的环境搭建 2018-08-19 18:36:45 一、jdk 1.8.0 安装与配置 二、scala 2.11.8 安装与配置http://www.scala-lang.org/download/2.11.8.html 上面两步见《win10下安装scala》 三、spark 2.3.0 安装与配置 1、下载spark:官网地址：http://spa...
大数据生态组件——Spark学习（搭建spark完全分布式环境）
shy-2的博客
05-16 1109
学习sparkSpark下载安装spark下载spark安装spark熟悉spark的目录结构配置环境变量配置spark完全分布式集群配置spark的环境变量文件`spark-env.sh`配置spark的slaves文件同步文件测试spark完全分布式集群 本次带来的是spark的学习使用教程 Spark 下载安装spark 下载spark hadoop搭建及其他一些生态圈组件安装可查看我的另一篇博客一文搞定hadoop及其生态圈组件的安装，赶紧收藏起来吧！ 去开源社区下载spark，注意版本和你ha
大数据最全大数据进阶之路——Spark SQL环境搭建_sparksql环境搭建(2)，2024年最新大数据开发面试题及答案2024
最新发布
2401_84615622的博客
05-11 869
1）负责客户端请求的响应2）负责元数据（文件的名称、副本系数、Block存放的DataNodes）的管理1）存储用户的文件对应的数据块(Block)2）要定期向NameNode发送心跳信息，汇报本身及其所有的block信息，健康状况副本系数。
大数据系列——Spark理论
mql007007的博客
04-26 1523
Apache Spark，全称伯克利数据分析栈，是一个开源的基于内存的通用分布式计算引擎，内部集成大量的通用算法，包括通用计算、机器学习、图计算等，用于处理大数据应用。主要由下面几个核心构件组成，具体包括：集群资源管理器(Muster Node）、任务控制节点(Driver)、任务执行节点(Worker Node)。其中集群资源管理器可自由集成其他管理器（例如Yarn、Mesos、K8s等），目前一般主流生产环境都搭载在Yarn上运行。
【Spark笔记】Windows10 本地搭建单机版Spark开发环境
weixin_30415801的博客
06-09 2299
0x00 环境及软件 1、系统环境 OS：Windows10_x64 专业版 2、所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2.8.3.tar.gz scala-2.11.8.zip hadoop-common-2.2.0-bin-master.zip（主要使用里面的winutils.exe） I...
windows10下spark2.3.0本地开发环境搭建-亲测
06-22
windows10下spark2.3.0本地开发环境搭建 win10上部署Hadoop非Cygwin、非虚拟机方式。安装目录为D:\setupedsoft。涉及相关组件版本： win10 家庭装，64位，x86处理器 JDK1.8.0_171 hadoop-2.7.6 Spark-2.3.0 Scala-2.11.8 Maven-3.5.3 ideaIC-2018.1.4.exe spark-2.3.0-bin-hadoop2.7 对应博文：https://blog.youkuaiyun.com/hambition/article/details/80769771 由于博文上传图片比较麻烦，图片又非常之多，没分的同学可直接看博文。
大数据-Hadoop环境搭建(单机)
09-18
大数据-Hadoop环境搭建(单机)文档，供大家参考学习使用！，附详细安装配置过程，以及问题处理等
win10 搭建spark环境
qq_34909144的博客
10-12 275
烦死，搞完发现没了 又要来一次 本文介绍win10中搭建spark环境并与anaconda结合 下载Anaconda、python并安装（默认安装） 测试命令行cmd使用ipython是否正常，若正常转4，否咋转3 使用pip安装：pip install ipython pip install notebook 安装jdk并配置环境，参见Win10使用java环境_RookieZW的博客-优快云博客 安装配置spark 下载地址Downloads | Apache S...
Win10系统下spark的环境搭建
sfy101588的博客
01-05 603
环境准备 ·jdk配置； ·scala安装与配置； ·spark安装与配置； ·hadoop安装与配置； 版本说明 ·jdk：1.8 ·scala：2.11.8 ·spark：2.4.0 ·hadoop：2.8.3 jdk配置 首先，进入我的电脑-〉系统属性-〉高级系统设置->环境变量 配置JAVA_Home 配置Path 验证配置 scala安装与配置 scala下载 官方...
单机搭建spark环境
jinxuezhe的专栏
06-01 421
saprk 单机搭建
Spark单机版集群
weixin_30929011的博客
07-12 145
一、创建用户 # useradd spark # passwd spark 二、下载软件 JDK，Scala，SBT，Maven 版本信息如下： JDK jdk-7u79-linux-x64.gz Scala scala-2.10.5.tgz SBT sbt-0.13.7.zip Maven apache-maven-3.2.5-bin.tar.gz 注意：如果只是安装S...
Windows 10 下单机 Spark 环境搭建
weixin_34206899的博客
01-31 504
【目的】　　Windows 10 裸机搭建 Spark 环境，使能运行 PySpark Shell。【原料】Windows 10 x64jdk-8u162-windows-x64.exepython-3.6.7-amd64.exespark-2.3.2-bin-hadoop2.7.tgzhadoop-2.7.7.tar.gzwinutils.exe【安装 JDK】双击jdk...
搭建Spark单机环境01
qq_56244269的博客
03-05 1541
目录 （一）通过SecureCRT访问ied虚拟机 登录master 登录master的密码与账号（root：p@ssw0rd) 更改名称 查看是否一样 （一）通过SecureCRT访问ied虚拟机 首先远程连接cm_win7虚拟机 安装并解压SecureCRT 启动cm_win7虚拟机上的SecureCRT 点击设置 登录master 设置master 登录master的密码与账号（root：p@ssw0rd) 同理登录slave1与s.....
Win10 环境下 spark 本地环境的搭建
Dyun_480163的博客
12-01 1961
此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>Path==>新建。下载 jdk1.8.0_66_windows-x64_bin.exe(或其他版本)，点击安装。此电脑(右击)==>属性==>高级系统设置==>环境变量==>系统变量==>新建。启动 jupyter notebook。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值