scala应用开发

最新推荐文章于 2025-06-07 17:26:54 发布
原创 最新推荐文章于 2025-06-07 17:26:54 发布 · 2.4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scala #大数据 #技术

上一篇知识储备的文章。

https://blog.youkuaiyun.com/qq_33792843/article/details/82735787

 

Scala项目代码结构

 

 

 

 

关于代码结构，我想说项目的主题部分吧。一步一步来。

因为签署了隐私协议，所以具体需求不能透露，以及涉及到业务的图片、代码都将被打上马赛克。

 

首先来看看主体akka部分代码。

 

以上为主题工程入口。

可以看到，在集成App类后，case Class JobTake就可以匹配到JobTaker中的receive方法。开始doStart

doStart为主要代码入口，但是在此之前，我们需要获取目标文件夹下文件的列表，来看该工具类。

package utils

import java.io.File

import common.Constants
import org.slf4j.LoggerFactory
import transform.AkkaActor

import scala.collection.mutable.ListBuffer


/**
  * 文件
  * @author shouzhuang.li on 2018/09/11
  */
class FileUtils {

  val logger = LoggerFactory.getLogger(AkkaActor.getClass.getName)

  /**
    * 获取指定路径下文件
    * @return
    */
  def getFileList():ListBuffer[File]= {
    val nowPath = System.getProperty(Constants.USER_IDR) //user.dir指定了当前的路径
    val list = subdir(new File(nowPath + Constants.INPUT_PATH))
    if(null == list) return null else if (list.isEmpty) {new MsgBoxUtils().sendWrongMsg(Constants.LOG_ERROR + "输入文件内没有可用文件,请检查.");return null}
//    list.foreach{x=>logger.info("即将处理文件 : {} ",x.getAbsolutePath)}
    logger.info("即将处理文件 : {} ",list.mkString("[",", ","]"))

    list
  }


  /**
    * 获取指定目录下所有文件，过滤文件夹
    * @param dir
    * @return
    */
  def subdir(dir:File):  ListBuffer[File]={
    val listFiles:Array[File]=dir.listFiles()
    val list = new ListBuffer[File]
    try{
      for (file <- listFiles if file.isFile;if file.getName.contains(Constants.SALARY_EXCEL_FLAG)) list.append(file)
    }catch {
      case e:NullPointerException=>new MsgBoxUtils().sendWrongMsg(Constants.LOG_ERROR + " 输入文件目录不存在，请仔细检查！");return null
      case e:Exception=> new MsgBoxUtils().sendWrongMsg(e.getMessage);;return null
    }
    list
  }

}

在刚才的akkaActor获取list后，如果也没有异常，就会进入具体方法。

代码逻辑如下。

package transform

import java.io.File

import common.Constants
import org.slf4j.LoggerFactory
import utils.{MsgBoxUtils, TimeUtils}

class HandlerJob {
  val logger = LoggerFactory.getLogger(AkkaActor.getClass.getName)


  /**
    * 开启线程run方法
    * @param file
    */
  def doStart(file: File): Unit = {
    logger.info(Constants.LOG_START_FLAG ,file.getName)

    /* 1.校验所有sheet完备性 */
    logger.info(Constants.LOG_STEP1_FLAG)
    val validXlsx = new ValidXlsx()
    val validFlagString = validXlsx.reedXlsxAndValid(file.getPath)
    if (validFlagString.length!=Constants.ZERO_INDEX) {new MsgBoxUtils().sendWrongMsg(validFlagString);return }


    logger.info(Constants.LOG_STEP2_FLAG)
    val getExcelData = new GetExcelData()
    val allPersonMap = getExcelData.getExcelDataMethod(file.getPath)
    if(null == allPersonMap || allPersonMap.isEmpty){ new MsgBoxUtils().sendWrongMsg("解析内容为空，请检查输入内容.");return }


    logger.info(Constants.LOG_STEP3_FLAG)
    val company = new CombineDeptAndCom().combineDeptsAndCom(allPersonMap)


    logger.info(Constants.LOG_STEP4_FLAG)
    new Calculate().calculate(company)


    try{
      logger.info(Constants.LOG_STEP5_FLAG)
      val outputPath = file.getParent.replace(Constants.SALARY_FILE_INPUT, Constants.SALARY_FILE_OUTPUT)
      logger.info(Constants.OUTPUT_FILEPATH ,outputPath)
      val filenameUnFilter = file.getName.replace(".xlsx", "")
      val filename = Constants.LOG_FILENAME_STRING.format(filenameUnFilter, (new TimeUtils).getTimestamps())
      logger.info(Constants.LOG_OUTPUT_STRING ,filename)
      new WriteExcel().writeExcel(company, outputPath, filename)

    }catch {
      case e:Exception=>{
        logger.error(Constants.LOG_ERROR+e.getMessage)
        new MsgBoxUtils().sendWrongMsg(e.getMessage)
      }
    }

    logger.info(Constants.LOG_END)
  }
}

第一步，校验excel的完整性。

package transform

import java.io.{FileInputStream, FileNotFoundException}

import common.Constants
import org.apache.poi.ss.usermodel.{Sheet, Workbook}
import org.apache.poi.xssf.usermodel.XSSFWorkbook
import org.slf4j.LoggerFactory
import utils.CommonUtils

/**
  * 校验excel模块
  *
  * @author shouzhuang.li on 2018/09/11
  */
class ValidXlsx {

  val logger = LoggerFactory.getLogger(AkkaActor.getClass.getName)

  /**
    * 读取Excel，兼容 Excel 2003/2007/2010
    *
    * @param path
    * @return List<String>
    */
  def reedXlsxAndValid(path: String): String = {
    try{val is = new FileInputStream(path)

    if (null == is) return Constants.ERROR_FLAG


    val workbook = new XSSFWorkbook(is)
    if (null == workbook) return Constants.ERROR_FLAG

    /* 输入文件总校验 */
    val validExcel = doVilidExcel(workbook)
    if (validExcel == null || validExcel.length > Constants.ZERO_INDEX) return validExcel

    //校验sheet1表头
    val sheet0 = workbook.getSheetAt(Constants.ZERO_INDEX)
    val sheet0StandardHead = Constants.SHEET0_LIST_STANDARD_STR.split(Constants.STRING_SPLITION).size
    val excelHeadSheet1 = validExcelHead(sheet0,sheet0StandardHead, Constants.SHEET0_LIST_STANDARD_STR)
    if(excelHeadSheet1.length != Constants.ZERO_INDEX) return excelHeadSheet1

    //校验sheet2表头
    val sheet1 = workbook.getSheetAt(Constants.ONE_INDEX)
    val sheet1StandardHead = Constants.SHEET1_LIST_STANDARD_STR.split(Constants.STRING_SPLITION).size
    val excelHeadSheet2 = validExcelHead(sheet1,sheet1StandardHead, Constants.SHEET1_LIST_STANDARD_STR)
    if(excelHeadSheet2.length != Constants.ZERO_INDEX) return excelHeadSheet2

    }catch {
      case e :FileNotFoundException=> return e.getMessage
    }

    ""
  }


  /**
    * 校验表头字段是否齐整
    *
    * @param sheet
    * @return
    */
  def validExcelHead(sheet: Sheet, column: Int, listStand: String): String = {
    val sheetListStand = listStand.split(Constants.STRING_SPLITION, -1).toList
    val row = sheet.getRow(Constants.ZERO_INDEX)
    //总列数
    val columnNum = row.getPhysicalNumberOfCells
    if (columnNum < column) return "该sheet : %s  内列字段不够，缺少必要字段，请检查！".format(sheet.getSheetName)


    //为了获取标准字段以及所给excel字段是否涵盖
    var listExcelString = ""
    for (i <- 0 until columnNum) {
      val cellValue = new CommonUtils().getCellValue(row.getCell(i))
      if (columnNum - 1 == i) listExcelString = listExcelString + cellValue else listExcelString = listExcelString + cellValue + Constants.STRING_SPLITION
    }
    val listExcel = listExcelString.split(Constants.STRING_SPLITION, -1).toList
    if (listExcel.isEmpty) return "该sheet : %s  内列字段不够，缺少必要字段，请检查！".format(sheet.getSheetName)  //如果excel中没有表头数据


    //这里是为了校验两个list的自己关系
    val initBoolean = list1containslist2(listExcel, sheetListStand)
    if (!initBoolean) {
      val excelHeadName = findList1containslist2(listExcel, sheetListStand)
      if (null != excelHeadName && !"".equalsIgnoreCase(excelHeadName)) return sheet.getSheetName + Constants.SHORT_OF_COLUMNNAME + sheet.getSheetName + " : " + excelHeadName
      return Constants.ERROR_FLAG
    }

    ""
  }


  /**
    * 为了校验：
    * 1.workbook不为空
    * 2.sheet不为空
    * 3.sheet名称
    * 4.row记录数是否为空
    *
    * @param workbook
    * @return
    */
  def doVilidExcel(workbook: Workbook): String = {
    var message = validSheet(Constants.ZERO_INDEX, workbook)
    if(message.length > Constants.ZERO_INDEX) return message
    message = validSheet(Constants.ONE_INDEX, workbook)
    message
  }


  /**
    * 根据具体的sheet类型，处理其中校验
    * @param sheetType
    * @param workbook
    * @param m
    * @return
    */
  def validSheet(sheetType: Int, workbook: Workbook): String = {
    var message,sheetName = ""
    if (Constants.ZERO_INDEX == sheetType) sheetName = Constants.SHEET1_NAME_STRING else sheetName = Constants.SHEET2_NAME_STRING

    if(workbook.getNumberOfSheets <2 ) return "该excel数小于2，请检查！"
    val sheet = workbook.getSheetAt(sheetType) //获取sheet

    if (!sheetName.equalsIgnoreCase(sheet.getSheetName)) {
      message += sheetName + Constants.SHEET_NAME_UNVILID
    } else {
      //获取总行数
      if (sheet.getPhysicalNumberOfRows() < 2)  message += sheetName + Constants.SHEET_DATA_EMPTY
    }
    message
  }


  /**
    * 判断是否标准集合在给入集合里面没有
    * 子集判断方法
    *
    * @param list1
    * @param list2
    * @return
    */
  def list1containslist2(list1: Seq[String], list2: Seq[String]): Boolean = {
    var trueOrFalse = true
    list2.foreach { x =>  if (!list1.contains(x)) trueOrFalse = false}
    trueOrFalse
  }


  /**
    * 该方法用于返回是哪些字段没有
    *
    * @param list1
    * @param list2
    * @return
    */
  def findList1containslist2(list1: Seq[String], list2: Seq[String]): String = {
    var unHaveExcelHead = ""
    list2.foreach { x =>  if (!list1.contains(x)) unHaveExcelHead = unHaveExcelHead + x + " "  }
    unHaveExcelHead
  }


}

 

校验完了之后，来到最精彩的构建环节。

然后是输出了。

可以看到代码非常的简洁，没有任何的拖泥带水。

总体感觉非常优雅，好了。我的第一个即将投产的scala应用完了，后续还会有更多的Java、python、scala应用，开发hadoop、spark做离线，实时处理，敬请期待。

你与我一同进步，成为那改变世界的人。

 

 

Spark之Scala语言常见应用举例
华夏紫云的博客
12-12 3716
作为一个初学者，初次学习Spark，分享一下自己的心得。 在学习Spark编程时，首先得准备编译环境，确定编程语言，本人用的是Scala语言，IntelliJ IDEA编译环境，同时得准备四个包，分别是：spark-assembly-1.3.1-hd-2.6.0.jar、scala-compiler.jar、scala-library.jar、scala-reflect.jar。将这四个包导入，
【编程语言】Scala入门
大雨的博客
07-18 1018
通过本次学习，我们系统地掌握了 Scala 语言的核心知识，从多范式编程的独特魅力，到开发环境的搭建，再到基础语法、函数式编程、面向对象编程以及丰富的集合与容器操作，最后通过实战案例将所学知识应用于实际问题的解决。Scala 的强类型系统保障了代码的健壮性，函数式编程特性使代码简洁高效，面向对象编程则赋予了代码良好的结构和可维护性 。
Scala的常见应用
wl20040124的博客
04-25 305
Scala的常见应用一、递归函数定义二、指定参数名传参三、匿名函数改名四、函数作为参数传递五、隐式函数 一、递归函数定义 def ji(n: Int): Int = { if (n == 1) 1 else n * ji(n - 1) } println(ji(5)) 二、指定参数名传参 def Test1(name:String,age:Int):Unit={ println("姓名："+name+",年龄"+age) } Tes
Scala应用
qq_42562914的博客
11-12 143
求字符串中单词出现次数val arr = Array(“hello tom”,“hello jerry”,“hello hello”) //1.先将每一个字符串分割 var f4 = (x:String)=>x.split("\\s") //2.分割出的结果为Array(Array(hello,tom),Array(hello,jerry),Array(hello,h...
Scala开发Example
haha_mingg的专栏
08-15 728
Scala例 子：   HelloScala.scala: object links extends Application {        print("heelo");        println();        def factorial(x:BigIn
Idea开发Scala应用
huanghuitan的博客
04-08 519
Idea开发Scala应用 Scala语言是一种能够运行在JVM和.Net平台之上的通用编程语言，能够和Java进行互操作，具有与Java一样的平台移植性。即可用于大规模应用程序开发，也可用于脚本编程。 Scala开发环境搭建 1.JDK安装及环境变量配置  2.下载Scala https://www.scala-lang.org/download/  3.解压下
掌握Scala应用开发：Packt代码库详解
本书的目标是通过提供一系列真实世界的应用程序开发案例，特别是使用React式编程和函数式编程原理，帮助读者掌握Scala语言的应用开发。 书中提到了“从头到尾完成本书所必需的所有支持项目文件”，这表示代码库不仅...
探索Lift框架：Scala网络应用开发全解析
最新发布
08-16
本书《探索Lift框架：Scala网络应用开发全解析》由Derek Chen-Becker、Marius Danciu和Tyler Weir撰写，旨在帮助读者深入了解和掌握Lift这一基于Scala的Web框架。书中不仅涵盖了Lift框架的基础概念、安装配置和首个...
SpringBoot如何使用Scala进行开发的实现
08-25
SpringBoot 使用 Scala 进行开发的实现 SpringBoot 是一个基于 Java 语言的开源框架，主要用于快速构建生产级别的应用程序，而 Scala 则是一门多范式的编程语言，设计初衷是实现可伸缩的语言并集成面向对象编程。...
使用Scala进行Web开发：构建你的第一个Web应用.md
08-09
使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发使用Scala进行Web开发...
Scala全栈开发指南：探索高性能应用开发之路
AI天才研究院
06-07 406
随着互联网应用对性能（如高并发、低延迟）和可维护性（如快速迭代、团队协作）的要求日益提升，传统单一范式语言（如纯面向对象的Java或纯脚本的JavaScript）逐渐显现局限。Scala作为“融合型语言”，同时支持面向对象（OO）和函数式编程（FP），天然适合构建复杂全栈应用。Scala核心特性与全栈开发的适配性前后端一体化开发的具体实践（Scala.js + Play框架）高性能并发的实现（Akka Actor模型）数据持久化优化（Slick库）真实项目中的落地经验。
Scala
weixin_61399281的博客
07-27 1004
Scala使用def关键字告诉编译器这是一个方法。返回值类型与返回值在参数后面加一个冒号和类型来显式地指定返回类型。方法可以写返回值的类型也可以不写，会自动推断，但是如果有显式的Return有时候不能省略，必须写，Scala中函数有返回值时，可以写return，也可以不写return，不写return时会把函数中最后一行当做结果返回。如果去掉方法体前面的等号，那么这个方法返回类型必定是Unit的。scala可以把任意类型转换为Unit。会被丢弃。}中的所有集合。不变的。...
scala项目开发经验
大三树的博客
12-02 465
项目管理 网络正常情况下使用sbt，否则使用maven 使用intellij idea，安装scala插件 使用单工程多模块的方式 详尽的Test Code Review 代码风格参考http://zhangyi.farbox.com/post/bian-ma-xiu-lian/scala-coding-standard，采用统一的scala风格
（五）scala版spark开发实例（sparkStreaming+sparkSql）
weixin_43930865的博客
10-03 1028
spark开发实例 1：开发准备 java,hadoop，scala,maven的windows环境都已配置并验证完毕 2:spark的wordcount代码详解 先把集群的hdfs-site,xml,core-site.xml都放到resources下面 原始数据：data1.txt 1 Java bigdata 2 Java bigdata /** * 在Spark中，所有的编程入口都是...
Scala---基础应用
飞机的博客
03-21 299
Scala---基础应用
2023_Spark_实验三：基于IDEA开发Scala例子
pblh123的专栏
08-30 7450
window环境中，基于IDEA开发工具，创建一个scala项目，完成scala的hello代码。
大数据-第09章 Scala 基础应用
搬砖.......
08-01 308
1.命令式编程和函数式编程 答： 命令式编程涉及多线程之间的状态共享，需要锁机制实现并发控制；函数式编程不会在多个线程之间共享状态，不需要用锁机制，可以更好并行处理，充分利用多核CPU并行处理能力。 2.Scala语言 答： Scala是一门类java的多范式语言，它整合了面向对象和函数式编程的最佳特性，纯粹的面向对象的语言。 3.Scala两种类型的变量 答： var ：是可以改变的，声明的时候需要进行初始化，初始化后可以再次对其赋值。 Val ：是不可变的，声明的时候需要进行初始化，初始化以后就不可以在
Scala实例
yangyangmyself的专栏
08-19 260
1、概述 Scala是Java的下一代编程语言，支持面向对象及函数，可以与Java相互调用；scala运行需要安装JVM；scala操作灵活，表达示丰富，目前JAVA8向scala靠拢。   2、开发环境 1）安装scala eclipse plugin2）安装集成scala IDE           3、第一个Scala实例，类与方法定义及数据库定义       packa...
Scala应用场景以及环境部署
热门推荐
OnTheRoad的博客
05-13 1万+
官网：http://www.scala-lang.org/scala介绍Scala即可伸缩的语言（Scalable Language），是一种多范式的编程语言，类似于java的编程 ，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala的静态类型有助于避免复杂应用程序中的错误，并且其JVM和JavaScript运行时可让您构建高性能系统，并轻松访问图书馆的巨大生态系统。scala应用场景...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值