【Ubuntu安装spark环境】----第一站----【虚拟机jdk环境配置】

最新推荐文章于 2025-02-28 12:07:56 发布
原创 最新推荐文章于 2025-02-28 12:07:56 发布 · 372 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #ubuntu #jdk

这篇博客详细介绍了如何在Ubuntu虚拟机中配置Spark环境，首先从安装JDK开始，包括下载JDK包、通过SSH传输、创建目标路径、解压并配置环境变量。文章还预告了后续的hadoop和spark安装步骤。

一、配置jdk环境
1.在jdk官网下载jdk包
在这里插入图片描述
2.使用ssh链接工具将所下载的jdk安装包拖进ubuntu虚拟机中/或者用u盘中转，该文章有相关操作https://blog.youkuaiyun.com/echo245/article/details/115255768
在这里插入图片描述
3.打开终端控制，进入root

sudo su root

在这里插入图片描述
4.创建Java的目标路径文件夹

mkdir /usr/lib/jvm

5.解压jdk包至 /usr/lib/jvm

tar -zxvf jdk-16_linux-x64_bin.tar.gz -C /usr/lib/jvm

在这里插入图片描述

最低0.47元/天 解锁文章
（windows）虚拟机搭建spark
huitailangZz的博客
09-23 4092
对于一个刚刚迈入数据领域的小白、大学生而言，可能有很多人和我一样，面对这种搭建平台知识懵懵懂懂，摸不到头绪，摸爬滚打，在无尽的报错和反复尝试受尽了折磨！在spark搭建之前，有很多的准备工作，你会明白搭建spark不只是搭建spark这么简单。下面我们一起尝试这走出这片苦海！对于一个全新的windows虚拟机，我们需要安装很多前提条件，如果你的虚拟机有jdk、python、hadoop，也需要对准好对应版本，他们大多数兼容性很差，稍有不慎就会出现报错，
Ubuntu14从安装虚拟机开始配置Spark环境，步骤十分详细，步步配图
莫莫先生的博客
02-23 4520
本文集成了以下内容： 1.ubuntu虚拟机的安装，以及更换虚拟机下载源的方法; 2.配置Java环境，解决Xftp中文乱码的方法； 3.配置scala环境； 4.配置hadoop环境（伪分布式）； 5.配置spark环境（单机模式）。
Spark学习笔记（一）（Ubuntu）linux下配置spark环境
log_zhan的博客
08-01 2175
本人一个学生党， 因为导师要使用spark分布式计算，但是使用spark又要安装JDK。折腾了很久才弄好，下面根据linux新手总结下面教程。       虚拟机：VMware Workstation 10       操作系统：ubuntu-14.04-desktop-amd64       JAVA版本：jdk-8u101-linux-x64    http://www.oracle
【Ubuntu】Spark 伪分布式安装
懂得一千零一种,赋予你失败的方法！
03-16 714
文章目录Ubuntu下的Spark 伪分布式安装一、安装Scala二、安装Spark三、配置Spark文件四、测试 Ubuntu下的Spark 伪分布式安装 资源获取： scala：https://pan.baidu.com/s/1M1KtWVqVXDhvxbKJQW6Fwg 7in9 spark：https://pan.baidu.com/s/1q2JuGuiaIWFv1IC0nh5NVw zs2m 一、安装Scala 解压安装包至指定目录:tar -zxvf scala-2.10..
Ubuntu的Spark 搭建实验（ssh配置没好，需要的看新发的，完整版）
qq_56437391的博客
03-31 3210
学习目标： 学会Spark环境的搭建 学习内容： 学习Spark搭建环境的过程 学习环境 环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以） 第一步：软件的下载： 这里方便大家下载直接用wget命令代替了 wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.tgz#spark的下载 wget http://i9000.ne
在Ubuntu安装jdk教程
JasomMNn的博客
07-27 5682
目录一、在vm软件上配置Ubuntu二、安装jdk 一、在vm软件上配置Ubuntu （1）可以打开vm软件，如下选择。 （2）选择合适的OVF模板部署虚拟机 （3）导入完成后，即可开启虚拟机 二、安装jdk （1）将你的jdk压缩包移到虚拟机的/opt里面 （2）如果无法移动进去，可以给opt文件夹赋权限，可以用如下命令 sudo chmod 777 /opt （3）进入opt目录，进行解压 cd /opt 这里选择好自己压缩包的名字即可 tar -zxvf jdk-8u171-lin
虚拟机系统为Ubuntu 20.04，安装hadoop-3.3.6，spark-3.5.0，hive-4.0.0，JDK11。会存在版本冲突吗
最新发布
12-24
在 Ubuntu 20.04 虚拟机环境下安装 **hadoop-3.3.6 + spark-3.5.0 + hive-4.0.0 + JDK11** 的组合**不存在本质版本冲突**，但需注意以下兼容性细节和配置要点： --- ### 一、版本兼容性分析 | 组件 | 要求/支持...
虚拟机系统为Ubuntu 20.04中安装JDK21后，安装哪些hadoop，spark-，hive才不会存在版本冲突
12-24
我们面对的问题是：在Ubuntu 20.04虚拟机中，已经安装了JDK 21，现在要安装Hadoop、Spark和Hive，并且要求不产生版本冲突。因此，我们需要选择与JDK 21兼容的Hadoop、Spark和Hive版本。 首先，我们需要了解这些组件...
虚拟机系统为Ubuntu 20.04中安装JDK11后，安装哪些hadoop，spark-，hive才不会存在版本冲突
12-24
嗯，用户需要为Ubuntu 20.04系统（已安装JDK 11）寻找兼容的Hadoop、Spark和Hive版本组合。从引用材料看，用户参考过两个文档：一个使用Hadoop 3.1.0 + Hive 3.1.2 + JDK 8，另一个用Hadoop 2.10.1。但用户环境是JDK...
Spark 环境搭建保姆级教程
weixin_74268353的博客
02-28 1617
在FinalShell的下方文件管理系统中，选择主用户的~/Downloads​，然后打开Windows下的gtz文件，将其拖入FinalShell对应的文件中，等待上传成功再刷新即可。（也可以使用我提供的文件，上传文件之后，直接在Anaconda文件所在目录运行下面第二个语句。安装成功后重启linux系统，下面的配置环境操作要在vm里操作，先打开一个终端。请从百度网盘链接获取，自行下载,，文件比较多，有的比较大，按需下载。⭐⭐⭐恭喜你，到此，Spark已经安装成功了！
ubuntu下spark安装配置
weixin_30745553的博客
10-17 185
一、安装vmware虚拟机 二、在虚拟机上安装ubuntu12.04操作系统 三、安装jdk1.8.0_25 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意：下载操作系统对应版本的jdk 解压： tar -xzvf jdk-8u25-linux-i586.tar...
Ubuntu的SPARK安装与应用
YEExl的博客
04-17 1201
mac中Ubuntu安装spark，rdd编程
ubuntu上安装spark详细步骤
每天进步一点点儿
07-09 5568
1、打开清华大学下载站 https://mirrors.tuna.tsinghua.edu.cn/ ，找到 apache点击 2、在新页面中，ctrl + f 输入 spark，点击 3、选择要下载的版本，我选的最新版本 4、选择对应的hadoop版本 5、点击下载，下载完毕移动到一个目录 如 /etc/soft/ mvspark-3.1.2-bin-hadoop2.7.tgz/etc/soft/ 6、解压，如果提示没权限，加sudo sudo tar -zx...
Ubuntu20.04 详细安装、配置Spark3.0.0教程（Pyspark）亲自测试
python 熊猫
08-07 4705
sudo passwd：更改root密码 su：可以直接切换root密码 apt-get -y install vim:安装编辑文件软件。 apt-get update apt-get upgrade --------------------------------------------------------------- 安装sqlite3: sudo apt-get install sqlite3 ---------------------------------------------------
ubuntu spark 的环境变量
蕾姆的博客
01-24 781
JAVA_HOME=/usr/local/java/jdk1.8.0_201 SCALA_HOME=/usr/local/scala SPARK_HOME=/usr/local/spark JRE_HOME=${JAVA_HOME}/jre PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin export CLA...
Ubuntu下搭建spark2.4环境（单机版）
Tattoo
11-23 1044
说明：单机版的Spark的机器上只需要安装JDK即可，其他诸如Hadoop、Zookeeper（甚至是scala）之类的东西可以一概不安装。 集群版搭建：Spark2.2集群部署和配置 一、安装JDK1.8 1、下载JDK1.8，地址 2、将下载的文件保存在 /home/qq/java下，进行解压，解压后文件夹为 jdk1.8.0_171： tar -zxvf jdk-8u171-linux-i5...
解决Linux（Ubuntu）环境变量配置无效的问题：JDK，Hadoop，Spark，Scala等
Liu_Arvin的芝士小栈
10-16 2862
解决Linux（Ubuntu）环境变量配置无效的问题：JDK，Hadoop，Spark，Scala等
/bin/java: 没有那个文件或目录spark/bin/spark-class:行71: /usr/java/jdk1.8
weixin_30446613的博客
12-30 3728
1、检查java环境有没有问题 2、1没问题后检查文件的编码是否有问题 转载于:https://www.cnblogs.com/twodoge/p/10200676.html
验证Spark安装是否成功报错:/usr/lib/jdk/jdk1.8.0_221/bin/java: 没有那个文件或目录
星星的博客
05-24 7035
使用命令./bin/run-example SparkPi,验证Spark安装是否成功报错：/usr/local/spark/bin/spark-class: 行 71: /usr/lib/jdk/jdk1.8.0_221/bin/java: 没有那个文件或目录 报错情况如下 sudo gedit ~/.bashrc sudo gedit ~/.bashrc jdk找不到路径问题，报错如图，直接配置修改文件spark-env中export （导入）jdk的路径即可。 ...
SZT-bigdata VMware虚拟机安装配置资源包
更是一整套完整的大数据开发生态系统的封装：它以VMware虚拟机形式提供隔离、稳定的运行环境，预装Linux操作系统（很可能是CentOS或Ubuntu Server），并在此基础上配置JDK、SSH免密登录、NTP时间同步、防火墙规则、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值