spark df写入parquet或hbase报错

1.cdh5.13.3.p0.611179/lib/spark2/python/pyspark/sql/types.py", line 1400, in verify_struct
“length of fields (%d)” % (len(obj), len(verifiers))))
ValueError: Length of object (1) does not match with length of fields (8)
问题出在rdd转换成dataframe时有一个schema，但是有些rdd是空的，所以无法拆分转换会出错。
通过

def f(x):
    for y in x:
        if len(y) == 0:
            print(str(x) + 'line empty\r\n')
 rdd3.foreach(f)

日志打印出来有存在内容为空的rdd。