transformers中TFBert等模型加载问题(two structures don‘t have the same nested structure)

最新推荐文章于 2024-04-20 10:09:27 发布

alwayschasing

最新推荐文章于 2024-04-20 10:09:27 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

文章标签： tensorflow transformers

本文链接：https://blog.youkuaiyun.com/liruihongbob/article/details/115285193

在将transformers库的tfbert模型整合到自定义模型并进行保存时，可能会遇到 ValueError，原因是call()函数缺少@tf.function(signatures)注解，导致输入数据格式未定义。为避免加载时的问题，可以使用model.save_serving()方法，因为它在源码中已定义输入数据格式，确保加载无误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如果将transformers中的tfbert等模型嵌入到自己的模型中，在保存与加载的时候可能会出现以下问题：

ValueError: The two structures don’t have the same nested structure.

First structure: type=dict str={‘input_ids’: TensorSpec(shape=(None, 5), dtype=tf.int32, name=‘input_ids/input_ids’)}

Second structure: type=dict str={‘token_type_ids’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/token_type_ids’), ‘attention_mask’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/attention_mask’), ‘input_ids’: TensorSpec(shape=(None, 128), dtype=tf.int64, name=‘input_ids/input_ids’)}

问题说明：
如果是直接使用bert(inputs) 调用，保存模型再加载就会出现上述问题

原因：
call() 函数没有添加@tf.function(signatures)注解，也就是没有定义输入数据格式，如果直接保存模型恢复的时候没办法恢复输入数据的定义

解决办法：
使用model.serving()函数
在这里插入图片描述
可以看出源码是实现了输入数据格式定义的，这样修改之后就咩有加载方面的问题了