spark、Scala的安装

最新推荐文章于 2025-05-22 14:58:50 发布
原创 最新推荐文章于 2025-05-22 14:58:50 发布 · 178 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

安装Scala

一.官网下载安装Scala：scala-2.12.8.tgz

https://www.scala-lang.org/download/
tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala
测试：scala -version
启动：scala

安装spark

二.官网下载安装:spark-2.4.2-bin-hadoop2.7.tgz

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

解压、重命名
启动spark

1.先启动hadoop 环境
start-all.sh
2.启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh
/opt/module/spark/sbin/start-all.sh

jps查看

3.启动Spark Shell

三.使用Spark Shell编写代码

读取本地文件

加载hdfs文件

打印文件第一行

 

用spark shell进词频统计

 

 

 

Spark零基础入门实战（一）Scala安装
分享大数据、人工智能领域原创文章
12-05 861
Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。由于Scala运行于Java平台，因此安装Scala之前需要确保
Apache Spark 2.4.8在CentOS下的安装（单节点及集群环境）
weixin_37714753的博客
06-01 756
Apache Spark在CentOS下的安装（单节点及集群环境） 环境依赖 CentOS7，JDK8，spark-2.4.8-bin-hadoop2.7.tgz 关闭防火墙 #关闭命令 service firewalld stop chkconfig firewalld off 关闭SELINUX #SELINUX=enforcing SELINUX=disabled 单节点安装 下载并安装Spark 下载地址 https://spark.apache.org/downloads.
Hadoop环境下安装Spark-2.4.8
qq_54103767的博客
09-23 566
JDK（1.8）
Hadoop2.9.2+Spark2.4.8安装
白杨Shayne的博客
05-13 1113
Hadoop2.9.2+Spark2.4.8安装
spark的安装
小忐忑的博客
10-07 1289
1.解压缩 tar -zxf spark-2.4.8-bin-hadoop2.6.tgz -C /usr/ 改名字 cd /usr mv spark-2.4.8-bin-hadoop2.6/ spark 2.修改配置文件 进入spark安装目录下conf目录中 复制模板 cp slaves.template slaves cp spark-defaults.conf.template spark-defaults.conf cp spark-env.sh.template spark-env.sh
Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)
GX_0824的博客
09-24 3867
解压tar -zxvf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/moudel/官网地址：https://archive.apache.org/dist/spark/重命名mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8。进入/usr/local/spark-2.4.8-bin-hadoop2.7/conf。上传spark-2.4.8-bin-hadoop2.7.tgz。进入/opt/moudel/spark-2.4.8/sbin。
Scala和Spark安装步骤
2301_77751917的博客
03-13 582
修改配置文件 在spark下的conf目录打开env vim spark-env.sh。source /etc/profile使环境变量生效，scala -version查看是否安装成功。配置环境变量 vim /etc/profile。jps查看有master就是对的。查看spark是否安装成功。
Linux中Scala和Spark安装
05-31
一旦Scala安装完成，接下来就可以安装Spark了。Spark是一个强大的分布式计算框架，用于大规模数据处理。 ##### 步骤1：下载Spark 访问Spark官方网站：[Apache Spark](https://spark.apache.org/downloads.html)，...
Jupyter notebook运行Spark+Scala教程
08-19
首先，需要安装 Jupyter Notebook 和 Spark，接着需要安装 Scala kernel，以便在 Jupyter Notebook 中使用 Scala 语言。然后，需要安装 Spark kernel，以便在 Jupyter Notebook 中使用 Spark。 在安装过程中，需要...
Spark&Scala安装教程.docx
09-14
### Spark与Scala安装教程知识点详解 #### 一、Spark安装步骤及配置 ##### 1. 创建Spark目录 - **步骤**: 进入`/usr/local`目录，通过命令`cd /usr/local`。 - **创建目录**: 使用命令`sudo mkdir /usr/local/...
scala-2.12.6.tgz
08-09
此为最新版本的scala语言安装包，版本号scala-2.12.6.tgz
scala-2.11.8.rar
05-27
scala-2.11.8源码，用于关联bin文件；查看源码的必备东西，拿走不谢；可是不能不选，就少选点吧。
【hadoop】Spark的安装部署
最新发布
2401_83769134的博客
05-22 803
spark的部署步骤
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 5万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
基础篇八 Spark配置与安装
Andy的博客
05-29 1357
目录 文章导读 Scala安装 Spark安装 结束 文章导读 Spark安装与配置需要提前安装Scala支持,需要在sca要在scala官网下载安装包,在Spark官网下载安装包. Scala安装 # 解压 [root@hadoop01 src]# tar -zxvf scala-2.11.12.tgz # 移动至指定目录 [root@hadoop01 src]# mv scala-2.11.12 ../soft/ # 修改环境变量 [root@hadoo...
Cannot find project Scala library 2.12 for module
m0_56602092的博客
09-12 9012
## 问题场景 构建项目时报错 Cannot find project Scala library 2.12 for module xxxx ## 解决方案 在File -> Project Structure中查看对应module的Dependencies，检查依赖包版本是否正确，去掉重复多余的scala依赖包（一般都是因为替换scala版本时，没有自动清除之前的scala依赖包导致的，这还可能会导致运行时异常java.lang.NoSuchMethodError）
spark2.4的安装和基本使用
技术成就梦想
02-07 2425
安装之前我们先来看看资料上对spark的一些解释: Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存...
spark2.4安装
qq_34300892的博客
06-21 497
1、配置环境变量 export SPARK_HOME=/opt/module/spark-2.4.3 export PATH=$PATH:$SPARK_HOME/bin source /etc/profile 2、spark-env.sh文件配置 cd /opt/module/spark-2.4.3/conf/ cp spark-env.sh.template spark-env.sh vi...
【spark】spark-2.4.4的安装与测试
weixin_30516243的博客
10-02 1333
4.2.1 下载并安装spark 下载文件名：spark-2.4.4-bin-without-hadoop.tgz [hadoop@hadoop01 ~]$ tar -zxvf spark-2.4.4-bin-without-hadoop.tgz 4.2.2 配置linux环境变量 [hadoop@hadoop01 ~]$ gedit ~/.bash_...
Spark&Scala安装教程
03-26
好的，用户需要关于安装Spark和Scala的教程步骤。首先，我要整理现有的引用资料，看看哪些信息可以直接用上。引用1提到在JupyterLab中安装Scala kernel需要用pip安装spylon-kernel，但用户可能更关心的是基础的安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值