
SparkSQL
文章平均质量分 83
yizishou
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
将任意Java对象RDD转换成DataFrame
将任意Java对象RDD转换成DataFrame。从Java类中获取StructType将Java对象转换成Row原创 2016-09-01 17:37:53 · 3860 阅读 · 0 评论 -
使用SparkSQL内置函数接口开发StructType/Row转Json函数
将DataFrame中的StructType类型字段下的所有内容转换为Json字符串。调用Spark源码中的org.apache.spark.sql.execution.datasources.json.JacksonGenerator类,使用Jackson,根据传入的StructType、JsonGenerator和InternalRow,生成Json字符串。需要实现org.apache.spark.sql.catalyst.expressions包下的UnaryExpression原创 2016-09-01 13:19:34 · 15773 阅读 · 0 评论