pyspark dataframe将一行分成多行并标记序号(index)

关注

VIP免费原创最新推荐文章于 2026-07-11 15:05:04 发布 6k 阅读 AI 写同款· GEO 优化 ›

pyspark 中dataframe 按指定字段拆分为多列或者多行在使用dataframe时，我们常常需要依据应用场景，需要将原来一条record拆分为多行（字段数增加1个，record增加），或者在一个record中根据已有字段拆分为多列（仍是1个record，字段数增加）这里还有另外一个问题，如果我们原始数据并没规律的以@分割的固定格式字段，或者原始数据中并没有事先准备好的array格式的字段，如何生成呢？这里个functions.explode和hive中的explode作用类似，可参考。中的explode使用。udf的使用，可以参见。...... 阅读详情

原始数据如下：

gid	score
a1	90 80 79 80
a2	79 89 45 60
a3	57 56 89 75

from pyspark.sql.functions import udf, col
from pyspark.sql.types import MapType, IntegerType, StringType

def udf_array_to_map(array):
    if array is None:
        return array
    return dict((i, v) for i, v in enumerate(array))

# col(): returns a column based on the given column name
# MapType: 表示包括一组key-value的值．通过keyType表示key数据的类型，通过valueType表示value数据的类型．
#          最后一个参数指明mapType重点值是否有null值
def generate_idx_for_df(df, id_name, col_name, col_schema):
    """
    generate_idx_for_df, explodes rows with array as a column into a new row for each
    element in the array, with 'INTEGER_IDX' indicating its index in the original array.
    :param df: dataframe w