【Spark编程基础】实验一Spark编程初级实践(附源代码)

本文介绍了使用Scala进行实验,包括计算级数、模拟图形绘制(涉及Drawable特质、Point和Shape抽象类),以及统计学生成成绩,展示了函数式编程和面向对象设计的应用。

文章目录

  • 一、实验目的
  • 二、实验平台
  • 三、实验内容和要求
    • 1. 计算级数
    • 2. 模拟图形绘制
    • 3.统计学生成绩

一、实验目的

1.掌握 Scala 语言的基本语法、数据结构和控制结构;
2.掌握面向对象编程的基础知识,能够编写自定义类和特质;
3.掌握函数式编程的基础知识,能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本
层次结构,熟练使用常用的容器类进行数据;
4.熟练掌握 Scala 的 REPL 运行模式和编译运行方法。

二、实验平台

操作系统:Ubuntu16.04;
Spark 版本:2.1.0;
Hadoop 版本:2.7.1。

三、实验内容和要求

1. 计算级数

请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn,直到 Sn 刚好大于或等于 q
为止,其中 q 为大于 0 的整数,其值通过键盘输入。
在这里插入图片描述
例 如 ,若 q 的 值 为 50.0 , 则输出应为:Sn=50.416695请将源文 件保存为 exercise2-1.scala,在REPL模式下测试运行,测试样例:q=1时,Sn=2;q=30时,Sn=30.891459;
q=50 时,Sn=50.416695。

scala> import io.StdIn._
import io.StdIn._
scala> var Sn:Float = 0 
Sn: Float = 0.0
scala> var n:Float=1 
n: Float = 1.0
scala> println("please input q:") 
please input q:
scala> val q = readInt()
q: Int = 50

scala> while(Sn<q){
   
    
     | Sn+=(n+1)/n 
     | n+=1
     | }

scala> println(s"Sn=$Sn")
Sn=50.416695

2. 模拟图形绘制

对于一个图形绘制程序,用下面的层次对各种实体进行抽象。定义一个 Drawable 的特 质,其包括一个 draw 方法,默认实现为输出对象的字符串表示。定义一个 Point 类表示点 其混入了 Drawable 特质,并包含一个 shift 方法,用于移动点。所有图形实体的抽象类为 Shape,其构造函数包括一个 Point 类型,表示图形的具体位置(具体意义对不同的具体图形不一样)。Shape 类有一个具体方法 moveTo 和一个抽象方法 zoom,其中 moveTo 将图形从当前位置移动到新的位置, 各种具体图形的 moveTo 可能会有不一样的地方。zoom 方法实现对图形的放缩,接受一个浮点型的放缩倍数参数,不同具体图形放缩实现不一样。继承Shape 类的具体图形类型包括直线类 Line 和圆类 Circle。Line 类的第一个参数表示其位置,第二个参数表示另一个端点,Line 放缩的时候,其中点位置不变,长度按倍数放缩(注意,缩放时,其两个端点信息也改变了),另外,Line 的 move 行为影响了另一个端点,需要对move 方法进行重载。Circle 类第一个参数表示其圆心,也是其位置,另一个参数表示其半径,Circle 缩放的时候,位置参数不变,半径按倍数缩放。另外直线类 Line 和圆类 Circle都混入了 Drawable 特质,要求对 draw 进行重载实现,其中类 Line 的 draw 输出的信息样式为“Line:第一个端点的坐标–第二个端点的坐标)”,类 Circle 的 draw 输出的信息样式为“Circle center:圆心坐标,R=半径”。如下的代码已经给出了 Drawable 和 Point 的定义,同时也给出了程序入口 main 函数的实现,请完成 Shape 类、Line 类和 Circle 类的定义。

case class Point(var x:Double,var y:Double) extends Drawable{
   
   
  def shift(deltaX:Double,deltaY:Double){
   
   x+=deltaX;y+=deltaY}
}
//特征
trait Drawable{
   
   
  def draw(){
   
   println(this
### Spark初级编程实践实验7相关内容 Spark种快速、通用的大数据处理引擎,广泛应用于大规模数据集的处理和分析。以下是些与Spark初级编程实践相关的实验内容或教程[^1]。 在实验七中,用户可以通过系列任务来掌握Spark的基本操作和编程技巧。实验内容通常包括以下几个方面: #### 1. Spark环境搭建 确保本地或远程环境中正确安装并配置了Spark框架。这步是进行任何Spark编程基础。用户需要验证Spark是否能够正常运行,并熟悉其基本命令行工具[^1]。 #### 2. RDD基础操作 RDD(Resilient Distributed Dataset)是Spark的核心概念之实验可能要求用户完成以下任务: - 创建个简单的RDD。 - 对RDD执行基本的转换操作(如`map`、`filter`等)。 - 执行动作操作(如`collect`、`count`等)以触发计算。 ```python # 示例代码:RDD基础操作 data = sc.parallelize([1, 2, 3, 4, 5]) squared = data.map(lambda x: x * x) result = squared.collect() print(result) # 输出 [1, 4, 9, 16, 25] ``` #### 3. DataFrame与SQL操作 除了RDD,DataFrame是另种更高级的数据抽象形式。实验可能涉及以下内容: - 使用SparkSession创建DataFrame。 - 执行常见的DataFrame操作,如过滤、分组、聚合等。 - 使用Spark SQL查询数据[^1]。 ```python # 示例代码:DataFrame与SQL操作 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("example").getOrCreate() data = [("Alice", 1), ("Bob", 2)] df = spark.createDataFrame(data, ["name", "age"]) df.show() ``` #### 4. 数据读写操作 实验还可能要求用户学习如何从不同来源读取数据,并将处理后的结果保存到目标存储系统中。常见的数据源包括CSV文件、JSON文件、HDFS等[^1]。 ```python # 示例代码:读取和保存数据 df = spark.read.csv("input.csv", header=True, inferSchema=True) df.write.parquet("output.parquet") ``` #### 5. 调试与优化 通过实际操作,用户可以了解如何调试和优化Spark应用程序。例如,合理设置分区数、避免数据倾斜等问题[^1]。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值