Windows系统spark环境搭建及第一个Demo

最新推荐文章于 2024-05-21 21:41:07 发布
原创 最新推荐文章于 2024-05-21 21:41:07 发布 · 239 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在Windows环境下配置Spark开发环境时遇到的常见问题——找不到winutils.exe的解决方案。通过下载并正确放置winutils工具，可以避免因缺少Hadoop二进制文件导致的错误，确保Spark和Scala版本适配，从而顺利进行大数据处理任务。

spark和scala版本一定要适配，

https://mvnrepository.com/

cala运行异常Could not locate executable null\bin\winutils.exe in the Hadoop binaries

 

出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark

解决办法：当然也并不需要我们真的去搭建hadoop

下载这个winutils：链接：https://pan.baidu.com/s/12o-QubOX2B5RdFYYXUG4Ag 提取码：951p 复制这段内容后打开百度网盘手机App，操作更方便哦

放到任意的目录下，我这里是放到了D:\winutils\bin

 

 

 

本地调试spark任务demo
u012447842的博客
09-28 1623
本地电脑联调spark任务入门级
spark入门实战windows本地测试程序
hetianguang的博客
06-16 9999
在做Spark开发时，一般会在windows下进行Spark本地模式程序调试，在本地调试好了再打包运行在Spark集群上。因此需要在windows上进行Spark开发配置。本文将给出三种开发工具的配置：1、使用eclipse java api开发；2、使用scala IDE开发；3、使用IntelliJ IDEA 开发。 1、windows下环境 在安装开发软件之前，首先需要安装JAVA 和S
Windows 单机模式 Spark 安装和 配置
ZHAOLEI5911的博客
11-12 6249
一安装前说明 二安装配置所需的安装包 scala2104httppanbaiducoms1eSn2jsQ Intellij IDE 20163 httppanbaiducoms1dFA4Pk1 spark 140 httppanbaiducoms1bLQcY6 三 windows7 安装 scala 四Intellij IDE 安装 五 Intellij IDE 中 scala 插件安装 六运
【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习
Gamedev
01-22 1049
写在开头 本博客的目标是可以在不开启spark集群 | Linux虚拟机的情况下，对Spark RDD程序的完美运行，旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序，写这篇的灵感来源于自己在学习Spark时，看官方文档中介绍spark standalone模式部署，动辄20G内存、一个Master附带几个worker节点，然后默默看了眼自己的笔记本，8G内存、还要
spark Local环境搭建,第一个DEMO程序的编写
weixin_34273479的博客
06-13 219
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark环境搭建教程
xgb2018的博客
03-27 4471
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
基于Scala的spark开发环境搭建（一）
心相印的专栏
11-13 1473
具体步骤如下： 本地环境安装JDK 安装Intellij IDEA软件 在Intellij IDEA上安装scala插件 本地安装JDK环境 第一步：下载JDK的安装包（最新版本为JDK13），下载地址：（windows就下载.exe结尾的安装包，mac就下载.dmg结尾的安装包） https://www.oracle.com/technetwork/ 第二步：下载完成之后，直接双击安...
Spark搭建 Standalone模式详细步骤
weixin_52134189的博客
05-21 3146
Spark搭建 Standalone模式详细步骤
【BIT云计算实验】Spark Local/Standalone模式搭建实验记录
Alice2O3的博客
04-06 4693
菜鸡百丽宫，云计算搞这么离谱的实验，发的教程也没有任何参考价值。 为了补充老师没有提到的关键步骤，同时为了致敬画师Nardack和Krenz，这里专门以这两位为用户名，展开介绍一下从零开始建立Ubuntu虚拟机，查看ip地址，配置ssh无密码相互连接，配置环境变量，Local和Standalone模式运行spark集群的全部步骤，以飨读者。
Spark demo
windon12345的专栏
05-16 1173
这两天公司准备搭建大数据平台 以日志分析为例，大概流程是： 1.数据分析平台提供接口供其他系统调用写入日志 2.flume收集日志用kafka做sink 3.spark分析日志，结果输出HBase 下面是spark相关的一些简单demo，在此记录 maven引入所需包 <dependencies> <dependency> <g...
windows本地sparkstreaming开发环境搭建及简单实例
高矮
05-28 5404
1：开发环境IDEA选择： IntelliJ IDEA Community Edition 2017.1.1  （相比eclipse更方便，不用装那么多插件，且提供免费版，官网直接下载安装就可以） 2：环境配置：(开发语言scala) 由于公司网络原因，下载不方便，没有用mavn，直接拖了本地的jar包 （1） spark core开发jar包：   （2） spark streami...
在windows本地编写spark的wordcount
梦岚如雪
05-15 5150
最近要用到spark，这里记录以下在windows本地搭建spark的词频统计的整个流程。首先明确一下版本，这里用的是hadoop-2.7.0版本，spark版本必须要与之对应，这里用的是下面这个，下载地址在这里http://spark.apache.org/downloads.html ，这里用的是scale ide，对应的scala版本是2.11.8,对应的jdk是1.8,好了废话不多说，直接进
spark最简单demo解读
dataastron的博客
12-26 1496
object AstronTest { def main(args: Array[String]): Unit = { println("hello,astron!") } }object定义类，用class没法运行。具体原因后面讲trait的时候一起说 跟java差不多，需要注意的是： 1、多了def 2、args的数组写法有变化。而且声明了string类型 3、void编
spark在windows本地调试
youchuikai的博客
03-27 4112
spark程序在windows下本地调试前言： 在最初接触spark分布式平台程序开发时，如何快速的调试spark应用程序，提高开发效率尤为重要。正所谓兵马未动，粮草先行。因此接下来开始准备高效的spark开发环境。
Spark入门示例
梓纾的专栏
10-30 2550
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/ma
window+idea+spark+debug windows下spark开发调试环境搭建
csdnfq的博客
11-10 1484
NO 步骤1 1 搭建环境前写个demo代码 2 安装配置jdk1.8 3 安装配置scala2.11.18 4 导入pom.xml中依赖jar 5 下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录 6 下载winutils.exe将其放到$HADOOP_HOME/bin/目录下 7 配置程...
【Spark】在window下搭建spark开发环境（IntelliJ IDEA）
集成显卡的开源主页 https://github.com/0604hx
07-07 1万+
概述本系列文章是个人的spark学习笔记。开发环境搭建说明
Scala在Windows上的安装及环境配置
热门推荐
茫茫灬人海
03-06 1万+
本文以Win10为例。在安装Scala环境之前，必须要安装java jdk。检测是否安装了java JDK方法如下：打开cmd（命令提示符）如图：输入java按回车键：出现此界面则继续输入javac回车若出现如此，则表示java JDK已安装好。接下来，我们从Scala官网 http://www.scala-lang.org/download/ 下载二进制包（页面底部），选择第二项，本文以Scal...
spark demo
最新发布
01-21
### Apache Spark 示例代码和教程 #### 使用 Scala 编写简单的 Word Count 应用程序 为了展示如何使用 Apache Spark 进行基本的数据处理操作，下面是一个经典的单词计数例子。此示例展示了如何加载文本文件并计算每个单词出现次数。 ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("word count").setMaster("local[*]") val sc = new SparkContext(conf) // 加载数据集 val textFile = sc.textFile("hdfs://path/to/input/file") // 执行词频统计 val counts = textFile.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _) // 将结果保存到 HDFS 文件系统中 counts.saveAsTextFile("hdfs://path/to/output/directory") sc.stop() } } ``` 这段代码创建了一个名为 `WordCount` 的对象来执行任务[^2]。通过设置配置参数可以指定应用程序名称以及运行模式（本地或集群），接着初始化一个 `SparkContext` 实例作为与底层系统的接口[^3]。之后读取输入路径下的所有文件内容，并将其转换成 RDD 数据结构；再利用一系列变换函数完成分词、映射及聚合工作；最后把最终的结果存储至指定位置。 #### PySpark 开发指南 对于 Python 用户来说，PySpark 提供了一种便捷的方式来构建基于 Spark 的大数据分析流程。以下是关于怎样在 Windows 平台上搭建环境并编写第一个 Pyspark 程序的一些指导： - **准备工作** - 下载并安装 JDK 和 Anaconda 发行版； - 添加环境变量以便能够顺利调用 Java 命令； - 解压下载好的 Spark 版本包并将 bin 路径加入 PATH 中去。 - **启动 PySpark Shell** 打开命令提示符窗口键入 pyspark 即可进入交互式的解释器界面，在这里可以直接测试各种 API 功能而无需事先打包整个工程项目。 - **简单实例：求平均值** 假设有一个由若干整数组成的列表，则可以通过如下方式快速得出其均值: ```python from pyspark import SparkContext sc = SparkContext(appName="Average Calculation") data = [1, 2, 3, ..., n] rdd = sc.parallelize(data) mean_value = rdd.mean() print(f"The mean value is {mean_value}") ``` 上述片段首先建立了连接上下文(sc)，随后定义了一些数值放入内存里形成分布式集合(rdd)。借助内置方法 `.mean()` 来获得整体水平度量指标——即算术平均数(mean)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值