
SparkSQL
文章平均质量分 83
yizishou
这个作者很懒,什么都没留下…
展开
-
将任意Java对象RDD转换成DataFrame
将任意Java对象RDD转换成DataFrame。 从Java类中获取StructType 将Java对象转换成Row原创 2016-09-01 17:37:53 · 3822 阅读 · 0 评论 -
使用SparkSQL内置函数接口开发StructType/Row转Json函数
将DataFrame中的StructType类型字段下的所有内容转换为Json字符串。 调用Spark源码中的org.apache.spark.sql.execution.datasources.json.JacksonGenerator类,使用Jackson,根据传入的StructType、JsonGenerator和InternalRow,生成Json字符串。 需要实现org.apache.spark.sql.catalyst.expressions包下的UnaryExpression原创 2016-09-01 13:19:34 · 15734 阅读 · 0 评论