pyspark本地调试和远程执行结果不相同，主要是保存csv格式的问题。保存"\t".join(result_list)，如果result_list中存在空字符串，则保存csv时最后一个有值元素后面的空字符串会被忽略。比如result_list有5个元素，"\t".join(result_list)执行后，再用\t分割长度还是5，但是保存csv后再读出来就变成3了。建议手动拼然后保存text。
另外，csv中不能保存包含换行符的text，否则会自动串行。。。。。
建议选用csv或者text！！!
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
