本文介绍了Spark 1.6版本引入的DataSet API，一种结合了RDD的优点与SparkSQL执行引擎优化的数据集处理方式。DataSet提供了静态类型安全性，并且可以在Scala和Java中使用，但目前不支持Python。文章详细讲解了如何将DataFrame转换为DataSet，并展示了具体的案例。
DataSet是一个分布式的数据集，是spark1.6版本才出来的。它提供RDD中的有点（强类型、lambda表达式、优化SparkSQL执行引擎）。DataFrame中能用的东西大部分在DataSet都能用。DataSet能够通过JVM对象构建出来。DataSet能使用函数表达式（map、flatmap、filter等等）。DataSet API能在Java和Scala中使用。python暂不支持。在Scala API中，DataFrame可以等于DataSet[Row]
静态类型（Static-typing）和运行时类型（runtime type-safety）安全
DataSet能更早的发现错误。
DataFrame转成DataSet 需要定义一个case class
val dataset = dataframe.as[Emp]
dataset .map(line ==> line.id).show
case class Emp(id:Int,name:String,Sal:Double,Des:String)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
