数据人生

1,python中的map,reduce,filter使用     >>> a=[1,2,3,5]>>> map(lambda x:x+x,a)[2, 4, 6, 10]>>> map(lambda x:2*x,a)[2, 4, 6, 10]>>> reduce(lambda x,y:x*y,a)30>>> filter(lambda x : x%2,a)[1, 3, 5]2,sc

翻译自《big data analytics with spark》第二章Programming in Scalascala基础虽然scala包含了面向对象编程和函数式编程的能力，但是他更侧重函数式编程。写spark程序，只会用到一点点scala的基本功能，所以只需要学一点点scala就可以了。自带的类型：这些都是类，scala没有类似int、long这样的基本数据类型Byte、Short、Int

100行代码入门scala//定义类，传入变量默认实现get set方法class People(var name:String, var age:Int) { //默认构造函数 println("get people one") name+="_name" var company = "abc" //自定义构造函数 def

直接上测试代码：import org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions.{udf, _}import org.junit.{Assert, Test}import org.apache.spark.sql.types._...