Windows系统spark环境搭建及第一个Demo

最新推荐文章于 2024-05-21 21:41:07 发布
原创 最新推荐文章于 2024-05-21 21:41:07 发布 · 238 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在Windows环境下配置Spark开发环境时遇到的常见问题——找不到winutils.exe的解决方案。通过下载并正确放置winutils工具，可以避免因缺少Hadoop二进制文件导致的错误，确保Spark和Scala版本适配，从而顺利进行大数据处理任务。

spark和scala版本一定要适配，

https://mvnrepository.com/

cala运行异常Could not locate executable null\bin\winutils.exe in the Hadoop binaries

 

出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark

解决办法：当然也并不需要我们真的去搭建hadoop

下载这个winutils：链接：https://pan.baidu.com/s/12o-QubOX2B5RdFYYXUG4Ag 提取码：951p 复制这段内容后打开百度网盘手机App，操作更方便哦

放到任意的目录下，我这里是放到了D:\winutils\bin

 

 

 

本地调试spark任务demo
u012447842的博客
09-28 1622
本地电脑联调spark任务入门级
spark入门实战windows本地测试程序
hetianguang的博客
06-16 9999
在做Spark开发时，一般会在windows下进行Spark本地模式程序调试，在本地调试好了再打包运行在Spark集群上。因此需要在windows上进行Spark开发配置。本文将给出三种开发工具的配置：1、使用eclipse java api开发；2、使用scala IDE开发；3、使用IntelliJ IDEA 开发。 1、windows下环境 在安装开发软件之前，首先需要安装JAVA 和S
Windows 单机模式 Spark 安装和 配置
ZHAOLEI5911的博客
11-12 6248
一安装前说明 二安装配置所需的安装包 scala2104httppanbaiducoms1eSn2jsQ Intellij IDE 20163 httppanbaiducoms1dFA4Pk1 spark 140 httppanbaiducoms1bLQcY6 三 windows7 安装 scala 四Intellij IDE 安装 五 Intellij IDE 中 scala 插件安装 六运
【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习
Gamedev
01-22 1048
写在开头 本博客的目标是可以在不开启spark集群 | Linux虚拟机的情况下，对Spark RDD程序的完美运行，旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序，写这篇的灵感来源于自己在学习Spark时，看官方文档中介绍spark standalone模式部署，动辄20G内存、一个Master附带几个worker节点，然后默默看了眼自己的笔记本，8G内存、还要
spark Local环境搭建,第一个DEMO程序的编写
weixin_34273479的博客
06-13 219
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark环境搭建教程
xgb2018的博客
03-27 4471
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
基于Scala的spark开发环境搭建（一）
心相印的专栏
11-13 1473
具体步骤如下： 本地环境安装JDK 安装Intellij IDEA软件 在Intellij IDEA上安装scala插件 本地安装JDK环境 第一步：下载JDK的安装包（最新版本为JDK13），下载地址：（windows就下载.exe结尾的安装包，mac就下载.dmg结尾的安装包） https://www.oracle.com/technetwork/ 第二步：下载完成之后，直接双击安...
Spark搭建 Standalone模式详细步骤
weixin_52134189的博客
05-21 3146
Spark搭建 Standalone模式详细步骤
【BIT云计算实验】Spark Local/Standalone模式搭建实验记录
Alice2O3的博客
04-06 4693
菜鸡百丽宫，云计算搞这么离谱的实验，发的教程也没有任何参考价值。 为了补充老师没有提到的关键步骤，同时为了致敬画师Nardack和Krenz，这里专门以这两位为用户名，展开介绍一下从零开始建立Ubuntu虚拟机，查看ip地址，配置ssh无密码相互连接，配置环境变量，Local和Standalone模式运行spark集群的全部步骤，以飨读者。
windows本地sparkstreaming开发环境搭建及简单实例
高矮
05-28 5404
1：开发环境IDEA选择： IntelliJ IDEA Community Edition 2017.1.1  （相比eclipse更方便，不用装那么多插件，且提供免费版，官网直接下载安装就可以） 2：环境配置：(开发语言scala) 由于公司网络原因，下载不方便，没有用mavn，直接拖了本地的jar包 （1） spark core开发jar包：   （2） spark streami...
在windows本地编写spark的wordcount
梦岚如雪
05-15 5150
最近要用到spark，这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本，这里用的是hadoop-2.7.0版本，spark版本必须要与之对应，这里用的是下面这个，下载地址在这里http://spark.apache.org/downloads.html ，这里用的是scale ide，对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说，直接进
spark最简单demo解读
dataastron的博客
12-26 1496
object AstronTest { def main(args: Array[String]): Unit = { println("hello,astron!") } }object定义类，用class没法运行。具体原因后面讲trait的时候一起说 跟java差不多，需要注意的是： 1、多了def 2、args的数组写法有变化。而且声明了string类型 3、void编
Spark demo
windon12345的专栏
05-16 1173
这两天公司准备搭建大数据平台 以日志分析为例，大概流程是： 1.数据分析平台提供接口供其他系统调用写入日志 2.flume收集日志用kafka做sink 3.spark分析日志，结果输出HBase 下面是spark相关的一些简单demo，在此记录 maven引入所需包 <dependencies> <dependency> <g...
window+idea+spark+debug windows下spark开发调试环境搭建
csdnfq的博客
11-10 1484
NO 步骤1 1 搭建环境前写个demo代码 2 安装配置jdk1.8 3 安装配置scala2.11.18 4 导入pom.xml中依赖jar 5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录 6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下 7 配置程...
spark在windows本地调试
youchuikai的博客
03-27 4110
spark程序在windows下本地调试前言： 在最初接触spark分布式平台程序开发时，如何快速的调试spark应用程序，提高开发效率尤为重要。正所谓兵马未动，粮草先行。因此接下来开始准备高效的spark开发环境。
【Spark】在window下搭建spark开发环境（IntelliJ IDEA）
热门推荐
集成显卡的开源主页 https://github.com/0604hx
07-07 1万+
概述本系列文章是个人的spark学习笔记。开发环境搭建说明
Spark入门示例
梓纾的专栏
10-30 2550
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/ma
spark运行自带例子_Spark程序的四种运行环境
weixin_39700397的博客
12-23 714
Spark程序有四种运行环境，分别如下：​ 本地模式​ 1、local => 主要用于开发(IDEA中运行)和开发的测试(spark-shell运行)​ 集群模式​ 2、standalone => 将spark应用运行在spark自带的资源管理器上​ 3、yarn => 将spark应用运行在yarn上， 80...
spark demo
最新发布
01-21
以下是关于怎样在 Windows 平台上搭建环境并编写第一个 Pyspark 程序的一些指导： - **准备工作** - 下载并安装 JDK 和 Anaconda 发行版； - 添加环境变量以便能够顺利调用 Java 命令； - 解压下载好的 Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值