DataCareer的博客

Spark优化点总结

今天我们踩到一个collect_list的坑，collect_list的结果不包含null值namecity张三广州null广州李四深圳对city作group by后collect_list(name)得到的结果中city='广州’为List(‘张三’)，没有null值。跟踪源码： def collect_list(e: Column): Column = withAggregateFunction { CollectList(e.expr) }col