如何在pyspark的udf中传入数据参数
如何在pyspark的udf中传入数据参数问题定义解决方案
问题定义
我希望在pyspark中使用withColumn函数对dataframe的某一列进行udf操作,需要传入一个字典,形如:
def func_is_holiday(holiday_dict,date):
return holiday_dict[date]
df = df.withColumn("is_holiday", fun...
原创
2019-01-16 18:34:06 ·
6010 阅读 ·
1 评论