TensorFlow问题处理:DataLossError: corrupted record at XXX

今天在做YouTube DNN调优的时候涉及到了一个比较糟糕的问题。

原来好好的代码抛出了异常:

DataLossError: corrupted record at XXX

查询了相关资料:

DataLossError (see above for traceback): corrupted record at 12

[TF2.0][FR] Skip TFRecord files with ‘DataLossError: corrupted record at’ #26991

Tensorflow官方没有给出有效的解决方式,分析完构建TensorFlow TFRecord的方式没有出现什么问题，而且我这个程序之前是正常跑成功的。

给出的解决方式如下:

try:
except tf.errors.DataLossError:
  logging.info("skip data loss error!")

跳过tensorflow TFRecord读取异常的数据。