何时使用RDD和DataFrame/DataSet
下面是使用RDD的场景和常见案例:你希望可以对你的数据集进行最基本的转换、处理和控制; 你的数据是非结构化的,比如流媒体或者字符流;你不希望像进行列式处理一样定义一个模式,通过名字或字段来处理或访问数据属性;你并不在意通过DataFrame和Dataset进行结构化和半结构化数据处理所能获得的一些优化和性能上的好处;该什么时候使用DataFrame或Dataset呢?如果你需要丰富的语义
原创
2018-04-27 16:09:48 ·
899 阅读 ·
0 评论