【Ubuntu安装spark环境】----第三站----【spark安装】

Ubuntu下安装Spark3.2.0教程 文章目录前言一、安装Spark1. 下载压缩包并解压2. 安装Spark3. 配置环境变量4. 修改配置文件二、验证Spark安装及错误处理1. 运行Spark实例2. 启动Spark shell三、总结 前言 Spark 的安装需要建立在 Hadoop 的之上(类似于 Hbase 和 Hive),关于 Hadoop 的单机安装以及伪分布式安装可以参考作者的另两篇博客: Ubuntu下单机安装Hadoop详细教程(附所需安装包下载) Ubuntu下伪分布式安装Hadoop详细教程 本文安装的 Hado 阅读详情

Spark在大多数情况下适合Scala连在一起的,因此我们在安装Spark之前不妨先安装Scala

1.安装配置Scala

tar -zxvf scala-2.13.5.tgz -C /usr/scala

配置环境变量

# 打开profile文件
vi /etc/profile

# 配置变量
export SCALA_HOME= /usr/scala/scala-2.13.5
export PATH=$PATH:$SCALA_HOME/bin

在这里插入图片描述
让变量生效

source /etc/profile

测试
在这里插入图片描述
2.安装配置Spark
解压到指定目录

tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz -C /usr/spark

配置环境变量

#打开profile文件
vi /etc/profile

export SPARK_HOME=/usr/spark/spark-3.1.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

让变量生效

source /etc/profile

测试
启动spark

./bin/spark-shell

在这里插入图片描述
尝试访问spark UI
在这里插入图片描述
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210328081435620.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VjaG8yNDU=,size_16,color_FFFFFF,t_70
3.尝试spark自带案例
进入到spark/bin

./run-example org.apache.spark.examples.SparkPi

在这里插入图片描述
成功运行计算出pi
在这里插入图片描述

Ubuntu 安装 Spark Spark安装 Spark安装一、安装步骤①解压下载的安装包②建立软链接③配置环境变量④修改Spark配置文件⑤把python3命令拷贝为python命令⑥修改spark-env.sh 设置主节点和从节点的配置⑦修改启动脚本的名称⑧启动spark服务二、验证启动结果①从Web端查看虚拟机启动情况②运行命令启动 一、安装步骤 安装spark之前一定要安装jdk,可以查看文章:Hadoop安装前准备 ①解压下载的安装包 tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz tar 阅读详情

相关推荐

在ubuntu14下安装部署伪分布式的spark环境

在ubuntu14下安装部署伪分布式的spark环境

叶小东的博客 678

Ubuntu20.04版本安装Spark-3.1.3及JAVA操作

首先上下载地址: Apache Downloads ① 首先要说一下,我从火狐浏览器下载下来的存储路径是~/下载,所以我的解压命令是: sudo tar -zxf ~/下载/spark-3.1.3-bin-hadoop3.2.tgz -C /usr/local/ ② 进入解压的目录,进行文件名的修改,这样后续操作方便一点点,结果如图 cd /usr/local sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark ③ 把spark目录(以及

好想上浙工大啊 2128

Ubuntu下搭建spark2.4环境(单机版)

说明:单机版的Spark的机器上只需要安装JDK即可,其他诸如Hadoop、Zookeeper(甚至是scala)之类的东西可以一概不安装。 集群版搭建:Spark2.2集群部署和配置 一、安装JDK1.8 1、下载JDK1.8,地址 2、将下载的文件保存在 /home/qq/java下,进行解压,解压后文件夹为 jdk1.8.0_171: tar -zxvf jdk-8u171-linux-i5...

Tattoo 1091

Ubuntu安装spark(伪分布式)

首先下载spark安装包到主机,2.4.0版本的spark我是在林子雨老师分享的网盘中下的 该网址里有讲到http://dblab.xmu.edu.cn/blog/2441-2/ # 解压 sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/lcoal # 改名 sudo mv spark-2.4.0-bin-without-hadoop.tgz spark # 设置文件所有者和所有组,我的主机名是zhong su

名狱的博客 832

AD域控设置客户端桌面壁纸

此时再右键wallpaper文件夹,共享选项下的网络路径已经有了。找到该域下的组策略编辑器(第一步有)并按照图下所示找到桌面壁纸的策略设置,点击进去。在高级共享里可以设置共享名和同时共享的用户数量限制。点击下拉箭头,找到Everyone并选择,点击添加后,点击共享。然后可以看到刚才的新建文件夹策略在域控服务器和客户端都生效了。右键wallpaper文件夹->属性,点击共享选项,点击共享。在弹出的窗口里,按照图下所示设置,点击应用并且确认。在弹出的窗口里,按图示找到文件夹,右键新建文件夹。

欲买桂花同载酒的博客 6054

组态王|组态王通过选择日期实现历史数据的查询

②在弹出的【插入通用控件】对话框选择【Calender Control】控件,然后点击【确定】按钮,关闭对话框,然后在画面上适当的位置按住鼠标左键并拖动,绘制出一个矩形框,放开鼠标,就完成了控件的绘制。此函数将指定的时间格式(年,月,日,时,分,秒)转换为以秒为单位的长整型数,转换的时间基准是UTC(格林尼治)1970年1月1日00:00:00。实现内容,通过两个日历控件选择开始日期和结束日期,然后点击【历史数据查询】按钮,在报表中显示对应时间段的数据集。另外你用过哪些组态软件?

做有价值的事,积累有价值的笔记! 4562

Ubuntu安装Spark

Ubuntu安装Spark

weixin_56814370的博客 5176

Ubuntu 24.04下Loki+Alloy+Grafana日志分析系统的快速部署与实践

本文详细介绍了在Ubuntu 24.04系统上快速部署Loki+Alloy+Grafana轻量级日志分析系统的完整流程。通过二进制安装Loki、配置Alloy采集器以及设置Grafana可视化界面,构建了一套资源消耗低、易于管理的日志解决方案,并实战演示了如何采集和分析网络设备日志,特别适合资源有限的中小团队或边缘计算场景。

tensor9flow的博客 234

WSL2+Ubuntu配置Java Maven Hadoop Spark环境

所需文件:购优惠 https://m.fenfaw.cn/ 更新日期为2021/5/8: Linux 内核更新包 JDK1.8 maven3.8.1 hadoop3.3.0 spark3.1.1 WSL?WSL2? WSL是适用于 Linux 的 Windows 子系统可让开发人员按原样运行 GNU/Linux 环境 - 包括大多数命令行工具、实用工具和应用程序 - 且不会产生传统虚拟机或双启动设置开销。 您可以: 在 Microsoft Store 中选择你偏好的 GNU/Linux 分发版。 运行常用.

weixin_48967543的博客 2352

华为[ENSP]—— 实验二、三层交换和ARP的工作原理

华为[ENSP]三层交换和ARP的工作原理

weixin_62594100的博客 6411

自适应粒子群优化(Adaptive Particle Swarm Optimization,APSO

下面是一个关于自适应粒子群优化(Adaptive Particle Swarm Optimization,APSO)的博客,希望可以帮助您。提示:以下是本篇文章正文内容,下面案例可供参考在上面的代码中,表示粒子的数量,表示解空间的维度,表示迭代次数,表示优化的目标函数。在__init__方法中,我们初始化了粒子群的位置和速度,并将每个粒子的位置作为其最优解,将其适应度值初始化为正无穷。我们还初始化了学习因子和惯性权重的参数。在run方法中,我们迭代了次,计算每个粒子的适应度值和最优解。

weixin_52026057的博客 9915

ubuntu上安装spark详细步骤

1、打开清华大学下载站 https://mirrors.tuna.tsinghua.edu.cn/ ,找到 apache点击 2、在新页面中,ctrl + f 输入 spark,点击 3、选择要下载的版本,我选的最新版本 4、选择对应的hadoop版本 5、点击下载,下载完毕移动到一个目录 如 /etc/soft/ mvspark-3.1.2-bin-hadoop2.7.tgz/etc/soft/ 6、解压,如果提示没权限,加sudo sudo tar -zx...

每天进步一点点儿 5702

uni-app - 解决 H5 微信公众号授权登录后,无法回退到 “上一页“ 的问题(微信登录后如何返回到触发它的那一页?无法通过 uni.navigateBack() 返回到前一页的问题?)详细教程

uniappH5微信登录重定向后无法返回到原来进入前的页面了,uni-appH5微信浏览器中授权微信登录后,无法正常回退问题,uniappH5微信登录后怎么返回上一页,uniapp公众号登陆后使用uni.navigateBack()回不去上一页,uniapp微信登录成功后返回页面后一直自动刷新页面,uniapph5授权成功后如何返回上一页,uniappH5微信登录后怎么返回到触发它的那一页去,公众号h5在授权后如何跳转回到刚进入时的页面,微信公众号H5网页返回上一页疑问,解决微信H5静默授

🏆 前端领域优质创作者 7715

Spark环境搭建(保姆级教程)

Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置,以及各种模式的代码提交,包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。

tangyi2008的专栏 6万+

AI 编程工具面试题(Claude Code、Codex 等)基础篇(一)

文章摘要: 本文整理了20道AI编程工具基础面试题,涵盖Claude Code、Codex CLI、GitHub Copilot等主流工具的核心概念与实操技巧。内容分为工具分类(代码补全/对话式/自主代理)、安装配置(静默部署/API管理)、关键命令(上下文加载/token监控)、调试策略(错误处理/提示优化)及对比选型(Tabnine vs Copilot)。重点解析了终端工具与模型能力的差异,并针对实际场景(如长代码生成/私有化部署)提供解决方案。附追问环节,深入探讨工具边界问题(如上下文溢出处理)和成

篮球界最会写bug的人;程序猿中打球最菜的人。 336

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ubuntu18.04安装spark(scala编程环境)

安装配置Hadoop 请查看:ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式) *参考文章:ubuntu18.04安装spark(伪分布式) 安装scala 1. 下载地址:https://www.scala-lang.org/download/2.11.8.html 2. 解压到自己的目录 sudo tar zxvf scala-2.11.8....

CS之路 2823

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Ubuntu14从安装虚拟机开始配置Spark环境,步骤十分详细,步步配图

本文集成了以下内容: 1.ubuntu虚拟机的安装,以及更换虚拟机下载源的方法; 2.配置Java环境,解决Xftp中文乱码的方法; 3.配置scala环境; 4.配置hadoop环境(伪分布式); 5.配置spark环境(单机模式)。

莫莫先生的博客 4588

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Ubuntu上安装Apache Spark

Ubuntu上安装Apache Spark

田振靓的博客 1294

Spark之Ubuntu18上安装Spark单机环境

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34126215的博客 324

Ubuntu从零安装 Hadoop And Spark

安装 linux 以Ubuntu为例 选择镜像,虚拟机安装 虚拟机下,直接安装镜像即可,选择好自己的配置,一定要注意路径名选好,而且和你虚拟机的名称匹配,这里我的镜像是 ubuntu-20.04.2.0-desktop-amd64.iso 安装 Hadoop 安装 Spark,并使用PySpark测试 ...

weixin_45573921的博客 2115

ubuntu搭建Spark伪分布环境

Ubuntu搭建Spark伪分布环境 文章目录1.前提条件2.下载安装包3.用Winscp工具上传安装包4.安装Spark5.安装Scala6.启动Spark集群7.总结 1.前提条件 ubuntu系统 JDK1.8以上(Ubuntu环境下) 2.下载安装包 到spark官网下载,尽量下载最新版本。 下载scala安装包,网址:https://www.scala-lang.org/ 3.用...

qq_42064159的博客 410

Ubuntu系统中安装Spark

安装spark 步骤 1、解压到/usr/local目录下:sudo tar -zxf ~/software/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/ 2、进入local 目录 :cd /usr/local 3、将文件名改为 spark:sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark...

不祈求 ~ ~ 5064

Ubuntu系统基于分布式hadoop安装spark

Ubuntu系统基于分布式hadoop安装spark 之前的文章中我们已经部署好了hadoop集群 首先打开三个虚拟机,现在我们需要安装Scala,因为Spark是基于Scala开发的,所以需要安装Scala。在Ubuntu下安装Scala很简单,我们只需要运行 sudo apt-get install scala 就可以安装Scala了。 安装完成后运行scala -version可以看到安装的Scala的版本,我现在2.11版,安装目录是在/usr/share/scala-2.11 。 接下来下载Sp

weixin_42141873的博客 2600

Ubuntu 安装 spark

环境: Unbunt 12.04 Hadoop 2.2.x Sprak 0.9 Scala scala-2.9.0.final.tgz 步骤 1. 下载 scala 2. 解压scala,然后修改/etc/profile,添加如下 export SCALA_HOME=/home/software/scala-2.9.0.final export PATH=$P

robinson的专栏 2054

虚拟机Ubuntu上Spark安装和编程实践

1.安装 Spark3.5.31.1 下载并安装Hadoop(伪分布式)(1)首先下载Spark-3.5.3wget(2)安装基础安装Hadoop3.3.4(伪分布式),如果没有安装,请先安装并配置hadoop伪分布式模式。

m0_74052190的博客 3664
上一篇: 【Ubuntu安装spark环境】----第二站----【hadoop安装】
下一篇: 报错org.thymeleaf.exceptions.TemplateInputException: Error resolving template解决方案
玄月无疆
博客等级 码龄9年 34粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值