Spark使用三层架构代码,分解复杂度,工程化管理代码
三层架构分为控制层、服务层、持久化层
具体实现如下(以wordcount为案例):
一、application包
application包是管理应用程序的包。
这些类包含了应用程序的业务逻辑和功能实现。这些类通常会调用DAO层和Service层的方法,以完成具体的业务功能,,Application包通常位于应用层中,用于实现具体的业务逻辑和功能,提供给用户使用。
WordCountApplication.scala
package com.hadoop.spark.core.framework.application
import com.hadoop.spark.core.framework.common.TApplication
import com.hadoop.spark.core.framework.controller.WordCountController
object WordCountApplication extends App with TApplication{
// 启动应用程序
start(){
val controller = new WordCountController()
controller.dispatch()
}
}
在Scala中,App类是预定义的类,用于在应用程序的入口点执行代码。它是一个没有参数的特质(trait),可以用于在Scala程序中定义主函数。
使用App特质,可以将主