大数据实验 实验六：Spark初级编程实践

已于 2023-11-28 10:45:35 修改
阅读量3.5k 收藏 34
点赞数 12
CC 4.0 BY-SA版权
分类专栏： 大数据实验 文章标签： 大数据 spark 分布式
于 2023-11-28 10:34:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ADEXOM/article/details/134661306
本文介绍了在Windows环境下通过OracleVMVirtualBox虚拟机安装Hadoop3.3和Spark3.4.0，实践了Spark的基本操作，包括读取文件、数据去重和求平均值，同时记录了遇到的问题及解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark初级编程实践

实验环境：Windows 10 Oracle VM VirtualBox
虚拟机：cnetos 7
Hadoop 3.3

实验内容与完成情况：

1. 安装hadoop和spark

因为Hadoop版本为3.3所以在官网选择支持3.3的spark安装包
在这里插入图片描述
解压安装包到指定文件夹

在这里插入图片描述
配置spark-env.sh
在这里插入图片描述
启动成功
在这里插入图片描述
在这里插入图片描述

2. Spark读取文件系统的数据

（1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

在这里插入图片描述

（2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

在这里插入图片描述

（3） 编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

编写程序
在这里插入图片描述

安装sbt

在这里插入图片描述
程序编译

在这里插入图片描述

使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “hdfstest” /software/hdfstest/target/scala-2.12/a-simple-hdfs-test_2.12-1.0.jar >& 1 |grep The 运行jar包
在这里插入图片描述
运行成功

3. 编写独立应用程序实现数据去重

对于两个输入文件 A 和 B，编写 Spark 独立应用程序（推荐使用 Scala 语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。

输入文件 A 的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件 B 的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

编写文件A B
在这里插入图片描述
配置编译选项
在这里插入图片描述
编译代码
在这里插入图片描述
使用/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “RemDup” /software/RemDup/target/scala-2.12/remove-duplication_2.12-1.0.jar 命令运行jar包

运行

在这里插入图片描述
查看运行结果

在这里插入图片描述

4. 编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。

Algorithm 成绩：
小明 92
小红 87
小新 82
小丽 90
Database 成绩：
小明 95
小红 81
小新 89
小丽 85
Python 成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

编译被操作文件 Algorithm database python

在这里插入图片描述
编写代码文件
在这里插入图片描述

编写配置文件

在这里插入图片描述
程序打包
在这里插入图片描述
使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “AvgScore” /software/AvgScore/target/scala-2.12/average-score_2.12-1.0.jar运行程序

在这里插入图片描述
查看结果在这里插入图片描述

出现的问题

问题一

运行start-all命令时spark报错
说缺少依赖

问题二

在etc/profile中更改完环境后
Source命令刷新文件仍然出现路径配置错误
在这里插入图片描述

问题三

在用sbt编译的过程中报错

在这里插入图片描述

解决方案

问题一

在下载安装包时版本选择错误

在这里插入图片描述
将安装包换为
在这里插入图片描述

问题二

因为之前开启了两个窗口进行命令操作
在这里插入图片描述
在一个窗口刷新在另一个窗口使用start-all命令
于是在同一个窗口source一下

在这里插入图片描述成功启动,问题解决

问题三

在这里插入图片描述

在这里插入图片描述
将编译的sbt文件配置改为启动spark-shell中现实的scala的版本号,不能使用,在etc/profile注册路径中的版本

完成编译
在这里插入图片描述
问题解决

大数据实验 实验六：Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件&quot；h(1)
2401_84182222的博客
05-07 1265
使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “hdfstest” /software/hdfstest/target/scala-2.12/a-simple-hdfs-test_2.12-1.0.jar >& 1 |grep The 运行jar包。对于两个输入文件 A 和 B，编写 Spark 独立应用程序（推荐使用 Scala 语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。(小新,88.33)
Spark初级编程实践
weixin_62338568的博客
08-22 899
Spark初级编程实践,使用Spark访问本地文件和HDFS文件的方法,Spark常用算子的使用。
用Spark读取本地文件数据
最新发布
weixin_67189258的博客
05-12 619
运用spark进行本地文件数据的读取
实验7 Spark初级编程实践
热门推荐
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
12-23 2万+
1. Spark读取文件系统的数据 2.编写独立应用程序实现数据去重 对于两个输入文件A和B，编写Spark独立应用程序（推荐使用Scala语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。 3.编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。
Spark RDD编程初级实践
m0_49972043的博客
04-17 4117
Spark RDD编程初级实践湖工大永远滴神 茂林！！！第一关 数据去重第二个 整合排序第三关 求平均值 湖工大永远滴神 茂林！！！ RDD(Resilient Distributed Datasets, 弹性分布式数据集)是Spark最为核心的概念，它是一个只读的、可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，可在多次计算间重用。Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作，从而实现各种复杂的应用。 RDD编程都是从创建RDD开始的，可以通
实验七：Spark初级编程实践
07-15
1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况： 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（
大数据技术原理及应用课实验7 :Spark初级编程实践
01-16
在"大数据技术原理及应用课实验7：Spark初级编程实践"中，我们主要关注Spark的两个核心知识点：数据读取和Spark应用程序的开发流程。 首先，Spark提供了一种简单的方式去访问不同的数据源，包括本地文件系统和...
大数据实验 实验六：Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件&quot；h
2401_84182222的博客
05-07 752
20170103 x20170104 y20170105 z20170106 z输入文件 B 的样例如下：20170101 y20170102 y20170103 x20170104 z20170105 y根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：20170101 x20170101 y20170102 y20170103 x20170104 y20170104 z20170105 y20170105 z。
Spark开发实例（编程实践）
01-07
本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力工具。Spark 包含多种运行模式，可使用单机模式，也可以使用分布式模式。为简单起见，本节采用单机模式运行 Spark。 无论采用哪种模式，只要启动完成后，就初始化了一个 SparkContext 对象（SC），同时也创建了一个 SparkSQL 对象用于 SparkSQL 操作。进入 Scala 的交互界面中，就可以进行 RDD 的转换和行动操作。 进入目录 SPARK_HOM
Spark Streaming 编程初级实践
m0_58064058的博客
03-27 1530
Spark Streaming 编程初级实践
Spark SQL编程初级实践
充满焦虑的大学生
04-30 3714
本文介绍了SparkSQL的基本操作与实践案例。主要内容包括：1）SparkSQL数据操作：通过JSON文件创建DataFrame，展示查询、去重、筛选、分组、排序等基础操作；2）RDD转DataFrame：通过StructType定义schema，实现文本数据到结构化数据的转换；3）MySQL集成：配置Spark连接MySQL，完成数据库表的读写操作。实践涉及SparkShell交互式操作和独立应用程序开发两种方式，覆盖了DataFrame创建、SQL查询以及JDBC数据源处理等典型场景。文中还包含环境配
实验5 Spark SQL编程初级实践
weixin_30520015的博客
03-26 1471
1.Spark SQL基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json 答案： scala> import org.apache.spark.sql.SparkSession scala> val spark=SparkSession.builder().getOrCreate(...
Spark大数据分析与实战：Spark Streaming编程初级实践Spark Streaming编程初级实践
qq_27851579的博客
07-08 1729
Spark Streaming编程初级实践 一、安装Hadoop和Spark 具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作： [ Hadoop的安装：https://blog.youkuaiyun.com/weixin_47580081/article/details/108647420 ](https://blog.youkuaiyun.com/weixin_47580081/article/details/108647420?spm=1001.2014.3001.5501) [ Scala及Spark的安装
【Spark编程基础】实验一Spark编程初级实践（附源代码）
a1234567822的博客
03-10 2292
Line 类的第一个参数表示其位置，第二个参数表示另一个端点，Line 放缩的时候，其中点位置不变，长度按倍数放缩（注意，缩放时，其两个端点信息也改变了），另外，Line 的 move 行为影响了另一个端点，需要对move 方法进行重载。Circle 类第一个参数表示其圆心，也是其位置，另一个参数表示其半径，Circle 缩放的时候，位置参数不变，半径按倍数缩放。给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；
《Spark编程基础》之RDD编程初级实践
m0_63475488的博客
03-08 653
RDD编程初级实践之，包括 spark-shell 交互式编程 ，编写独立应用程序实现数据去重，编写独立应用程序实现求平均值问题。
ubuntu spark mllib编程初级实践
12-27
### 关于Ubuntu上使用Spark MLlib进行初级编程实践 对于希望在Ubuntu平台上利用Apache Spark的MLlib库开展机器学习项目的新手而言，了解如何设置环境以及执行基本操作至关重要。下面提供了一个概述性的指南来帮助启动这一过程。 #### 设置开发环境 为了能够在Ubuntu操作系统之上运行基于Spark的应用程序并调用其内置的MLlib功能，首先需要确保已经正确安装了Java Development Kit(JDK)，因为这是Spark所依赖的基础组件之一[^1]。接着可以下载适合Linux系统的预编译版本的Spark包，并将其解压到指定目录下；另外还需要配置好`$SPARK_HOME`环境变量以便后续能够顺利加载该框架的相关资源文件。 #### 初步探索数据集与模型训练 一旦完成了上述准备工作之后，则可以通过编写简单的Scala/Python脚本来读取本地磁盘中的CSV格式的数据源作为输入给定至DataFrame结构内用于进一步处理分析工作。例如，在这里给出一段采用PySpark API实现线性回归预测任务的小例子： ```python from pyspark.sql import SparkSession from pyspark.ml.regression import LinearRegression # 创建spark session实例对象 spark = SparkSession.builder.appName("SimpleApp").getOrCreate() # 加载样本数据集 data = spark.read.format("libsvm").load("/path/to/sample_libsvm_data.txt") # 将原始数据划分为训练集和测试集合两部分 train_data, test_data = data.randomSplit([0.7, 0.3]) lr = LinearRegression(maxIter=10) # 训练模型 model = lr.fit(train_data) # 使用测试集评估性能指标得分情况 test_result = model.evaluate(test_data) print(f"Root Mean Squared Error (RMSE) on test data = {test_result.rootMeanSquaredError}") ``` 此段代码片段展示了怎样快速构建起一个基础版别的监督式学习流程——即先定义好目标函数形式（此处选择了最小化残差平方和），再通过迭代优化求得最优参数估计值从而完成整个建模环节的任务描述[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值