实验一：Scala 编程初级实践

---

title: 实验一：Scala 编程初级实践
date: 2024-03-08 00:35:49
description: 大数据spark基础作业
cover: https://elik-1307874295.cos.ap-guangzhou.myqcloud.com/images/md_picture/bigdata/large-895567_1280.webp?imageSlim
aside: true
categories:

• spark
  tags:
• spark

---

基础代码1

这个是一个基础读取文件统计分数最高最低分

package dblab

object scoreReport{
  def main(args: Array[String]) {
    // 假设数据文件在当前目录下
    val inputFile = scala.io.Source.fromFile("/home/hadoop/Downloads/myapp/WordCount/src/main/java/dblab/data/test.txt")
    //”\\s+“是字符串正则表达式，将每行按空白字符（包括空格/制表符）分开
    // 由于可能涉及多次遍历，同 toList 将 Iterator 装为 List
    // originalData 的类型为 List[Array[String]]
    val originalData =
      inputFile.getLines.map{_.split("\\s+")} .toList
    val courseNames = originalData.head.drop(2) //获取第一行中的课程名
    val allStudents = originalData.tail // 去除第一行剩下的数据
    val courseNum = courseNames.length
// 统计函数，参数为需要常用统计的行
//用到了外部变量 courseNum，属于闭包函数
def statistc(lines:List[Array[String]])= {
  // for 推导式，对每门课程生成一个三元组，分别表示总分，最低分和最高分
  (for(i<- 2 to courseNum+1) yield {
    // 取出需要统计的列
    val temp = lines map {elem=>elem(i).toDouble}
    (temp.sum,temp.min,temp.max)
  }) map {case (total,min,max) => (total/lines.length,min,max)
  } // 最后一个 map 对 for 的结果进行修改，将总分转为平均分
}
    // 输出结果函数
    def printResult(theresult:Seq[(Double,Double,Double)]){
      // 遍历前调用 zip 方法将