在pyspark中我们经常会碰到合并列或者合并行的操作,其实很简单:
合并列:
df.withColumn(新列名,df[列名]) #将df中的列合并到df中
行合并:
df.union(df1) #将df与df1进行行合并,这时df与df1的列名要相同
在pyspark中我们经常会碰到合并列或者合并行的操作,其实很简单:
合并列:
df.withColumn(新列名,df[列名]) #将df中的列合并到df中
行合并:
df.union(df1) #将df与df1进行行合并,这时df与df1的列名要相同