ValueError: Items of feature_columns must be a _FeatureColumn. Given (type class 'collections._Indi

原创

于 2019-11-21 18:07:32 发布 · 2.5k 阅读

CC 4.0 BY-SA版权

在尝试使用TensorFlowOnSpark和PySpark运行Wide&Deep模型时遇到ValueError，错误指出feature_columns必须为_FeatureColumn类型。问题源于Spark广播执行时_FeatureColumn类型的序列化问题。解决方案是在driver程序的python文件中进行特定修改以避免类型检查错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TensorFlowOnSpark、PySpark

Wide&Deep模型报错

ValueError: Items of feature_columns must be a _FeatureColumn. Given (type <class 'collections._IndicatorColumn'>)

原因分析

单机模型运行同样代码可以正常运行，但使用TFCluster.run 执行就会出现以上类型错误

主要是spark将方法广播到executor执行时序列化过程出现问题，此时无法将TensorFlow项目中_FeatureColumn类型正确序列化，导致feature_column.py中报检查类型出错

for column in feature_columns:
  print("==="+str(type(column)))
  if not isinstance(column, _FeatureColumn):
    raise ValueError('Items of feature_columns must be a _FeatureColumn. '
                     'Given (type {}): {}.'.format(type(column), column))

解决办法，将如下代码加到driver程序的python文件中

import collections
collections.namedtuple.__hijack = 1
当__hijack有值后，pyspark项目中serializer.py的如下方法内容将不会被执行

def _hijack_namedtuple():
    """ Hack namedtuple() to make it picklable """
    # hijack only o

最低0.47元/天解锁文章

200万优质内容无限畅学