Spark

javaeee1 javaeee1 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 211平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-05-09 17:57:30 发布 211 阅读 AI 写同款· GEO 优化 ›
第五：Spark启动！ 一.什么是SparkSpark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Cloudera、MapR、Pivotal、百度、阿里、腾讯、京东、携程、优酷土豆。当前百度的Spark已应用于大搜索、直达号、百度大数据等业务； 阅读详情

一、Spark与Scala版本兼容问题：

Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。
请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删除。自Spark 2.4.1起，对Scala 2.11的支持已被弃用，将在Spark 3.0中删除。
https://spark.apache.org/docs/latest/index.html

二、官网下载安装Scala：scala-2.12.8.tgz
https://www.scala-lang.org/download/

tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试：scala -version
启动：scala

三、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz
解压、重命名
启动spark
①先启动hadoop 环境

start-all.sh

②启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh
/opt/module/spark/sbin/start-all.sh
[注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令
jps 观察进程 多出 worker 和 mater 两个进程。
查看spark的web控制页面：http://bigdata128:8080/
显示spark的端口是7070
③启动Spark Shell
此模式用于interactive programming，先进入bin文件夹后运行：spark-shell
SecureCRT 下 spark-shell 下scala> 命令行无法删除，解决办法：
https://blog.youkuaiyun.com/nicolewjt/article/details/87368749
④退出Spark Shell
scala> :quit

四、使用Spark Shell编写代码
读取本地文件
在这里插入图片描述
显示第一行内容
在这里插入图片描述
读取HDFS文件
在这里插入图片描述
对上述hdfs根目录下f1.txt文件进行词频统计
在这里插入图片描述
查看结果

在这里插入图片描述

用Scala语言编写Spark独立应用程序

详情请见： http://dblab.xmu.edu.cn/blog/1311-2/

收录于
大数据学习

当前文章被收录于：

大数据学习
9 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
服务器最全安装、配置、启动Spark集群 （10）由于slave1节点也需要安装 spark，因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave1的相同路径下。（11）由于slave2节点也需要安装 spark，因此可以先将master节点的 /opt/spark-2.2.0 文件和 /etc/profile 文件拷贝到slave2的相同路径下。（3）解压 spark 文件到当前目录（/opt）下面，使用相对路径或者绝对路径均可，下面的命令使用绝对路径。 阅读详情

相关推荐

【Spark】Spark安装和Spark-shell使用

一、spark的安装模式 1、本地模式（local），单点模式，非分布式模式，只需要用到一台机器； 2、standalone模式，是spark自己实现的独立调度器，它是一个资源调度框架；Spark可以通过部署与Yarn的架构类似的框架来提供自己的集群模式，该集群模式的架构设计与HDFS和Yarn大相径庭，都是由一个主节点多个从节点组成，在Spark 的Standalone模式中，主节点为mas...

晚风中的自由 2732

Spark系列之Spark启动与基础使用

Spark系列之Spark启动与基础使用

luoyepiaoxue2014的博客 7807

【Spark】Spark的Standalone模式安装部署

Spark运行模式Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或者 Mesos 环境，也是很方便部署的。 local(本地模式)：常用于本地开发测试，本地还分

Jason Ding的专栏 6237

Scala与Spark的安装配置

一、Spark与Scala版本兼容问题： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对S...

weixin_42393089的博客 327

Spark学习笔记[3]-Spark安装部署

Spark学习笔记[3]-Spark安装部署 1、下载对应版本的spark   官网我始终都下不下来，推荐一个国内的镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/spark 2、概述 2-1 安装模式   虽然Spark是一个分布式计算框架，但是其不属于Hadoop Project，它有自己的资源层管理和文件系统，可以不依赖Hadoop的HDFS和Yarn，所以安装部署的时候可以只安装spark，对应的就是standalone集群， 但是一般都会使用HDF

unlock的博客 3929

基于Hadoop的Spark集群搭建

title: Spark集群搭建 date: 2020-03-19 19:30:31 tags: Hadoop 基于Hadoop的Spark集群搭建 准备 Spark三种运行模式简介 Local模式 Local 模式是最简单的一种Spark运行方式，它采用单节点多线程（cpu)方式运行，local模式是一种OOTB（开箱即用）的方式，只需要在spark-env.sh导出JAVA_HOME,无需其他任何配置即可使用，因而常用于开发和学习 方式：./spark-shell - -master loca.

qq_45703204的博客 1712

Spark启动命令总结简介

**本地启动** （安装本地后的启动Spark启动命令） bin/spark-submit –class org.apache.spark.examples.SparkPi –executor-memory 1G –total-executor-cores 2 ./examples/jars/spark-examples_2.11-2.1.1.jar 100 启动spark-shell启动之后是一个Scala程序 bin/spark-shll 启动Master主节点命令 sbin/start-a

A210810的博客 5248

Spark 源码 | 脚本分析总结

最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。

主要分享大数据相关的知识，如Spark、Hudi 2452

【Spark】Spark安装详解

Spark安装详解Spark的详情Spark的安装详解Spark Local的安装Spark Standalone模式Spark On YARN模式Spark HA模式 Spark的详情 Spark的简绍 Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？可能很多人还不是太理解，通俗讲就是可以分布式处理大量集数据的，将大量集数据先拆分，分别进行计算，然后再将计算后的结果进行合并。 为什么使用Spark Spark在存储器内运行程序的运算速度能做到比Had

HR的博客 6652

ROST_CM6软件之词频分析、社会网络和语义网络分析、情感分析

简介 ROST CM 6是武汉大学沈阳教授研发编码的国内目前唯一的以辅助人文社会科学研究的大型免费社会计算平台。该软件可以实现微博分析、聊天分析、全网分析、网站分析、浏览分析、分词、词频统计、英文词频统计、流量分析、聚类分析等一系列文本分析。 社会网络和语义网络分析（S） 数据 注意，保存时编码要为ANSI 所以这里需要转换一下 准备自定义表与停词表 例如 同时，点击快速分析后，将会弹出网络图 对网络图进行设置 对布局进行设置 对节点、边进行设置 最终效果图 修改 情感分析

积一时之步，臻千里之遥程 9万+

SpringCloud2025+SpringBoot3.5.0+gateway+webflux子服务路由报503

本来昨天就应该也记录下，免得忘记的，但是有点晚了，酒没写，真的是被坑惨了。当然这也是追求最新的代价，也是对新技术、老知识点的重温。依赖更粒度让架构的知识面更高，需要非常清楚另外说不定是有新的负载均衡要出现了，就想当初loadbalancer取代Ribbon一样好了，真是坑了半夜，昨晚都没有写，今天才复盘，希望能帮到大家，让更多在坑里的技术人爬出来。

zwrlj527的专栏 1998

11.Linux下Spark的安装配置以及spark-shell的启动和 Spark集群环境搭建

（1）安装Spark 1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。 2.解压缩： 3. 更改文件夹名称： 4.修改hadoop用户对文件夹spark的访问权限： （2）配置 1.复制一份由Spark安装文件自带的配置文件模板：如图所示：返回结果：Pi is roughly 3.144115720578603。

ghw666666666的博客 2万+

SCL3400-D01双轴高精度倾角计

简介 两轴高精度加速度计，提供两个模式。 ±30° with 10 Hz LPF ±90° with 40 Hz LPF Resolution up to 32768 LSB/g Ultra-low 0.0009°/√Hz noise density 这款传感器是替换之前村田的停产的模拟量系列的芯片，正在测试中，具体效果大伙可以评测。 一、引脚连接图 引脚图兼容SCL3300 二、SPI接口 1.SCL3300和SCL3400略有区别如下图 左边为SCL3...

专注惯导领域 3808

spark安装以及hive on spark和spark on hive 的配置

安装spark版本为已经编译好的spark-3.2.1-bin-hadoop3.2-scala2.13.tgz，其同样兼容hadoop-3.3.2； Hive on Spark(为hive配置spark引擎)：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Hive默认执行引擎是mapreduce,由于需频繁读取磁盘，效率比较低，Spark在内存中读取数据，所以总体来讲比MapReduce快很多（当然首次执行速度还是比较慢的） ..

v15220的博客 4770

Windows非分页缓冲池内存泄漏实战：PoolMon与RAMMap高效排查指南

本文详细介绍了Windows系统中非分页缓冲池内存泄漏的实战排查方法。当系统出现卡顿且内存占用异常增长时，通过RAMMap工具快速定位非分页缓冲池异常，并利用PoolMon监控内核内存分配标签，精准锁定泄漏源。文章提供了从确认症状、安装工具到使用findstr命令溯源驱动文件的完整五步排查流程，并总结了常见泄漏标签与解决方案，帮助用户高效解决深层系统内存问题。

weixin_28455801的博客 1011

看完就会！手把手教您如何正确开启飞牛Nas 虚拟机的 IOMMU 硬件直通，让虚拟机的性能飙升！

看完就会！手把手教您如何正确开启飞牛Nas 虚拟机的 IOMMU 硬件直通，让虚拟机的性能飙升！

XiaoqiangClub的博客 1万+

Ubuntu安装Spark

Ubuntu安装Spark

weixin_56814370的博客 5176

RT-Thread精通PM功耗调优 - Tickless篇

背景 让别人的思想装到自己的脑袋里，这不仅需要威逼利诱，还需要讲清楚原理。喜欢才能接受。 功耗基本的调试手段，估计前面讲了很多，或许只有少数人群可以接受。 更有极少的人，了解了整个功耗管理的体系、原理，愿意接受这样的【安排】。 这里的功耗调优思路，其实只是解决功耗问题的一种思路，并不是框架。 解决问题，自古以来，都是千奇百怪，秒在【奇】。 介绍 本篇介绍下Tickless的工作原理。 Tickless 可以理解为：tick-less，tick or little tick。 tick定.

坚韧与专注 1529

hive on spark 配置 和 spark on hive

Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。 HiveonSpark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive...

yang灬仔 4986

Vibe Coding 工具实战案例全解：Cursor、Claude Code、Codex 真实项目 30 分钟到 4 小时快速构建指南（2026 年最新）

2026年VibeCoding工具实战案例精选：1）使用Cursor在30分钟内构建现代TodoList应用（Next.js+TS+Tailwind）；2）通过ClaudeCode纯终端2小时开发3D飞行射击游戏（Three.js+R3F）；3）利用OpenAICodex多Agent并行4小时完成SaaS全栈开发（Next.js+Supabase+Stripe）。案例均来自真实项目，覆盖从入门到生产级开发，重点展示：自然语言Prompt技巧、迭代反馈方法、工具特性对比（Cursor可视化最佳/Claude推

hy行者勇哥的博客 3179

SAP-ABAP：ABAP Development Tools（ADT）安装配置学习分享教程-第一篇：ADT安装前置准备与环境校验教程

ABAP Development Tools（ADT）安装配置教程摘要 本文是ADT安装系列的第一篇，重点讲解环境准备与版本校验。ADT是基于Eclipse的现代ABAP开发工具，相比传统SAP GUI提供更智能的开发体验。安装前需确认： 推荐使用Eclipse 2026-03 + Java 21组合 操作系统需Windows 10+/macOS 14+ SAP GUI版本要求Windows≥8.00/macOS≥8.10 后端系统需NetWeaver 7.31 SP04+或S/4HANA 通过java -

baidu_35680696的博客 690

Spark各模式介绍

在本地模式中，只需要将压缩包解压至目标文件夹即可解压命令如下在本地模式中执行sparkPi案例，不需要启动spark，在bin目录中，已经有了执行脚本脚本命令为因此，spark的本地模式直接解压即可。

weixin_45934766的博客 1326

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Centos搭建spark

Centos搭建spark一、spark介绍二、spark安装前提三、集群规划四、spark安装五、修改spark环境变量六、修改spark-env.sh七、修改slaves八、将安装包分发给其他节点九、启动spark集群 一、spark介绍 Spark初识 二、spark安装前提 搭建spark环境前，需要搭建的环境有： JDK8 zookeeper hadoop Centos 搭建Hadoo...

爱是与世界平行 2597

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

假人有限元模型

假人模型，车辆碰撞假人有限元模型，适合做乘员安全的研究者利用

Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10

目前spark的Run on的hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0

OopsOutOfMemory盛利的博客 3万+

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

spark安装配置

spark安装配置

m0_66279156的博客 4575
上一篇： Hive
下一篇： MapReduce
点赞 0
评论 0
书签 书签 0
javaeee1
javaeee1
博客等级 码龄9年 1粉丝 10原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值