
Scala
文章平均质量分 53
xiaoxaoyu
小小鱼
展开
-
flink读取kafka数据对数据进行清洗,然后再重新写入kafka
文章目录flink读取kafka数据对数据进行清洗,然后再重新写入kafka1、流水写法2、OOP写法2.1、抽象接口读、写、数据处理2.2、开发人员实现数据源添加和写入某数据平台2.3、用户方针对不同数据实现的特质2.4、执行器,混入特质2.5、动态混入用户的方法,执行flink读取kafka数据对数据进行清洗,然后再重新写入kafka1、流水写法读:设置kafka消费者为flink数据源transform写:设置kafka生产者为flink数据源object FlinkReadWrite原创 2021-04-08 02:36:31 · 1817 阅读 · 0 评论 -
Scala练习04-学生成绩教师课程综合查询45题
import scala.io.Sourceobject stu { def main(args: Array[String]): Unit = { //元组格式的各个表 val course = Source.fromFile("D:\\JavaProjects\\ClassStudy\\Scala\\scalatest\\files\\04student\\course.txt").getLines().toArray.map(x => { var y = x.原创 2021-01-02 22:55:48 · 1092 阅读 · 2 评论 -
Scala练习03-数组函数解决Hive查询问题思路分析-查询“01“课程比“02“课程成绩高的学生的信息及课程分数
问题:查询"01"课程比"02"课程成绩高的学生的信息及课程分数思路:分别导表,转为数组格式,数组的每个元素是一个元组的 val score = Source.fromFile("D:\\JavaProjects\\ClassStudy\\Scala\\scalatest\\files\\04student\\score.txt").getLines().toArray.map(x => { var y = x.split("\t") (y(0).toInt,原创 2021-01-02 20:23:46 · 556 阅读 · 1 评论 -
Scala概念小测试01
1.Java和Scala区别?① Scala是纯粹的面向对象,Java因为支持基本类型和static而不纯粹② Scala没有借口,以trait代替③ Scala支持多范式,Java只支持OOP④ Scala支持伴生对象+伴生类实现动静分离⑤ Scala支持样例类,Java没有此概念⑥ Scala支持隐式函数,隐式类,隐式参数⑦ Scala支持高阶函数和柯里化⑧ Scala支持动态混入⑨ Scala支持模式匹配⑩ Scala支持元组、偏函数⑪ 构造器、方法返回值···········原创 2020-12-31 15:54:09 · 251 阅读 · 0 评论 -
Scala数组函数解决SQL查询问题-每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数
1、降维后分组计数并排序 var list = List("a b m","a b f","e a b") list.flatMap(_.split(" ")).groupBy(x=>x).map(x=>(x._1,x._2.length)) .toArray.sortBy(_._2).foreach(x=>print(x))2、map方法,转化为(word,1)的形式Array(Array(1,4,2),Array(5,3)).flatMap(x =>原创 2020-12-31 01:07:23 · 2837 阅读 · 4 评论 -
Scala练习01-数组函数解决峰值和谷值问题
问题:随机生成长度为100取值范围随机500以内的整数,求峰值和谷值相邻的三个数中间最大为峰值,中间最小为谷值思路:首先新建随机数数组方法1:普通循环判断方法2:sliding+groupBy(模式匹配)+map方法3:sliding返回迭代器后,在每个数组里使用collectimport scala.util.Randomobject TestMethod { def main(args: Array[String]): Unit = { import scala.co原创 2020-12-29 14:03:35 · 339 阅读 · 0 评论 -
Scala基础04-方法与函数
Scala 有方法与函数,二者在语义上的区别很小。Scala 方法是类的一部分,而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。Scala 中的方法跟 Java 的类似,方法是组成类的一部分。Scala 中的函数则是一个完整的对象,Scala 中的函数其实就是继承了 Trait 的类的对象。Scala 中使用 val 语句可以定义函数,def 语句定义方法。一、传名调用object Call_by_name { var m =10 def count:Int={.原创 2020-12-28 12:14:27 · 223 阅读 · 0 评论 -
Scala基础03-OOP面向对象
Scala oop一、类的创建方式和Java创建普通类的方式基本一样不同之处在于可以在类型之后添加参数,作为类的主构造器在类里定义this()方法重载构造器,作为辅助构造器(辅构造器的第一句必须为调用其他构造器)package oop class Point(xc: Int,yc:Int){ var x:Int=xc //成员变量 var y:Int=yc //辅助构造器 def this()={ this(0,0) // } //成员方法 def mov原创 2020-12-26 20:41:21 · 525 阅读 · 0 评论 -
Scala基础-数组函数总结以及案例(130个)
函数大全一、元素操作1、++2、++:3、combinations4、distinct5、drop6、dropRight7、dropWhile8、9、10、11、12、13、14、15、16、17、18、二、元素取头尾1、2、3、4、5、6、7、8、9、10、11、三、数组中的计算1、/:、:\2、fold3、foldRight4、foldLeft5、6、7、8、9、10、11、12、13、14、15、16、四、字符串相关操作1、addString2、mkString3、五、方法操作1、aggregate2原创 2020-12-24 18:56:06 · 1281 阅读 · 1 评论 -
Scala基础01-数据类型与控制语句
Scala一、scala特点二、常量与变量三、数据类型四、scala字符串差值(拼接)五、程序控制一、scala特点1.静态类型:变量声明后不允许改变类型;变量和表达式的类型在编译时就已经完全确定2.强类型:不经过强转,数据类型不会被改变,不允许隐式类型转换。方式为(对象名.asinstanceOf[XXX],对象名.toXXX方法,隐式转换(implicit关键字))3.多范式编程:(1)面向对象:一切值都是对象;无static关键字使用伴生对象模拟类对象;无接口概念,用特质概念替代(2)函数原创 2020-12-17 22:13:59 · 208 阅读 · 0 评论