Keras保存模型时报错“Not JSON Serializable”的解决方案

最新推荐文章于 2024-05-17 09:31:57 发布
原创 最新推荐文章于 2024-05-17 09:31:57 发布 · 2.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Keras #tensorflow

本文介绍了一个Keras与Tensorflow兼容性的小Bug及其解决方案。通过修改site-packages>keras>engine>saving.py文件中的特定代码段，可以解决因Keras backend为Tensorflow时产生的问题。
部署运行你感兴趣的模型镜像
  1. 这是Keras本身的一个小bug
  2. 如果使用时，Keras的backend是Tensorflow时，可以采用下述方案解决：
    在site-packages>keras>engine>saving.py文件中加上下述代码
    from tensorflow.python.framework.tensor_shape import Dimension
    if type(obj) == Dimension:
    return int(obj.value or 0)
    参考链接：
    https://github.com/keras-team/keras/issues/9342#issuecomment-396056333

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Keras问题：Save Model: TypeError:(‘Not JSON Serializable:‘, Dimension(3))
m0_37859875的博客
09-14 929
环境：keras-2.2.2，tensorflow-2.1.0，python3.7 使用keras训练时 保存模型的时候报错，解决方案比较扯淡- -貌似是一个不愿意解决的bug 这个需改keras的源码，具体的改正方法见github的issues9342 https://github.com/keras-team/keras/issues/9342 from tensorflow.python.framework.tensor_shape import Dimension if type(obj) == D
Keras保存模型的各种方法
技术的点点滴滴
12-29 5103
这里写自定义目录标题模型图构建训练模型保存模型hdf5格式持久化json格式持久化tf-serving调用的pb格式 Keras训练模型有多种保存方法，可以保存为hdf5文件，也可以保存为json格式文件，可以同时保存模型图和权重，也可以单独保存模型图和权重，还可以保存为tensorflow-serving支持的pb格式。下面以一个简单的模型分别来介绍不同的保存方法。 模型图构建 下面用keras...
tensorflow keras 存储模型错误 使用自定义层 报错 TypeError: ('Not JSON Serializable:', ) 等
qq_44930937的博客
02-26 3782
错误原因 原因在于使用了自定义的层 例如：定义损失函数 Loss（因为这个函数不好，就不多做说明了，只是做个例子来说明） def contrastive_loss_layer(top_different, deep_different, y_true): margin = 1000 top_distance=tf.norm((top_different),ord...
今日实验总结2
江湖夜雨十年灯
04-02 350
（1）为什么同样的代码在两个不同机子上报不同的错，一个属性错误，明明初始化的时候就已经把模型加载了，进程名称换了重新提交之后又没有报错了，玄学… （2）另一台机器为毛三个进程永远只跑第一个，是因为内存太小的原因吗，只有3G，反正这两种方式都不行；同样的代码以前也没问题，还是GPU跑的; for t in processes: t.start() t.join() for t in processes: t.start()
Keras问题：Save Model: TypeError: ('Not JSON Serializable:', )
Funkdub的博客
08-26 5508
环境：win10，keras-2.2.4，tensorflow-1.13.1，python3.6 使用keras训练时保存模型的时候报错，解决方案比较扯淡- -貌似是一个不愿意解决的bug 这个需改keras的源码，具体的改正方法见github的issues9342https://github.com/keras-team/keras/issues/9342 from tensorfl...
TypeError: Object of type ‘int64‘ is not JSON serializable
qq_43208491的博客
09-19 471
在使用json格式保存数据时，出现TypeError:type(**) is not JSON serializable，也就是无法序列化某些对象格式，我所遇见的是我使用了numpy时，使用了np的数据格式，写入data后，json.dumps(data)失败，我们可以自己定定义对特定类型的对象的序列化，下面看下怎么定义和使用关于np数据类型的自定义。 import numpy class NpEncoder(json.JSONEncoder): def default(self, obj):
Keras保存与加载模型（JSON+HDF5）
sun___M的博客
10-31 1万+
在Keras中，有时候需要对模型进行序列化与反序列化。进行模型序列化时，会将模型结果与模型权重保存在不同的文件中，模型权重通常保存在HDF5文件中，模型的结构可以保存在JSON或者YAML文件中。后二者方法大同小异，这里以JSON为例说明一下Keras模型的保存与加载。 from sklearn import datasets import numpy as np from keras.mod...
Keras深度学习框架第九讲：保存、序列化以及导出模型
MUKAMO的博客
05-17 1715
Keras提供了灵活的模型保存、序列化和导出功能。通过model.save()，可以完整保存模型结构和权重到HDF5或SavedModel格式，便于后续加载和复用。model.get_config()方法能够序列化模型结构为JSON字典，而from_config()类方法可据此重新创建模型。对于模型权重的单独保存和加载，可以使用model.save_weights()和model.load_weights()。Keras还支持将模型导出为TFLite格式，适用于移动和嵌入式设备。这些功能大大简化了模型的部署
keras保存模型和加载模型
huanhuan_Coder的博客
10-24 3586
1、保存模型和加载模型的方法 用实验室的服务器跑神经网络的时候服务器老是断开连接，这对我的训练和测试来时是一件比较崩溃的事，因为这意味着我要重新训练一次，要浪费又一次的时间，所以我在网上百度了保存模型和加载模型的办法，大部分的方法如下： 保存模型 model.save('my_model.h5') 加载模型 model = load_model('my_model.h5') 但是由...
Keras保存模型时报错“Not JSON Serializable”
weixin_58309419的博客
03-23 394
在尝试site-packages>keras>engine>saving.py文件中加上下述代码时。后来，我直接重新下了一个tensorflow2.3.0版本问题就解决了。这里我尝试了网上几乎所有的解决办法，都没什么用。它return也会报错。
关于“TypeError: Layer tf.compat.v1.nn.fused_batch_norm was passed non-JSON-serializable arguments.”
qq_37697947的博客
03-05 743
最近在使用别人的code做图像块匹配。因为别人的code是用tensorflow=2.0.0写的。不能放到GPU上训练。我把它放到了tensorflow=2.10.0上跑。具体在代码中就是使用tf.keras.layers.experimental.SyncBatchNormalization()我按照这个https://stackoverflow.com/revisions/71902078/3 改就成功了。代替 tf.keras.layers.BatchNormalization()
TypeError: Object of type xxx is not JSON serializable错误解决
家里没矿
06-09 2万+
这个错误是因为在导入Python json包，调用json.dump/dumps函数时，可能会遇到TypeError: Object of type xxx is not JSON serializable错误，也就是无法序列化某些对象格式。 解决办法： 点击进去json的包，然后在其中添加MyEncoder，把原来的JsonEncoder给替换掉。 因为我还需要定义时间的序列格式，所以我的MyEncoder可能比较万能，大家自己根据需要自己修改。 1.首先json包内定义类MyEncoder #我自己重新
在使用json.dumps时遇到报错TypeError: is not JSON serializable
进击的扛把子
10-16 2216
is not JSON serializable
tf.contrib.layers.batch_norm 报错
weixin_44441898的博客
05-11 5759
文章目录tf.contrib.layers.batch_norm 报错 batch_normalization() got an unexpected keyword argument 'is_training'解决方法 tf.contrib.layers.batch_norm 报错 batch_normalization() got an unexpected keyword argument ‘is_training’ tf.contrib是tensorflow v1版本的函式库，在更新到v2时候，这个
Tensorflow系列：tf.contrib.layers.batch_norm
Candy_GL的博客
03-14 1万+
tf.contrib.layers.batch_norm(     inputs,     decay=0.999,     center=True,     scale=False,     epsilon=0.001,     activation_fn=None,     param_initializers=None,     param_regularizers=None,     up...
Python3运行报错：TypeError: Object of type ‘type‘ is not JSON serializable解决方法（不是针对对象转Json的方法）
热门推荐
qq_38680405的博客
07-20 5万+
问题描述： Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。 json.dumps() #将Python中的对象转换为JSON中的字符串对象 json.loads() #将JSON中的字符串对象转换为Python中的对象 这个问题是由于json.dumps()函数引起的。dumps是将dict数据转化为str数据，但是dict数据中包含byte、int、float、datetime等等的时候，数据所以会报错。 可能会遇到T...
TypeError: Object of type datetime is not JSON serializable
qq_37253540的博客
06-20 4980
一、问题描述 我是在使用requests.post(url=douyin_url, json=singer_data)时，需要传入singer_data但是其中的一个字段是时间这个特殊字段。 如：{'rankingDate': '2019-06-20 17:05:03.483030'}，其中这个值是通过datetime.datetime.now()获得的当前时间。结果执行时出现上面的错误。 ...
TypeError: Object of type Tensor is not JSON serializable
bb_sy_w的博客
12-13 4929
测试模型时，保存检测结果时出现这个错误： TypeError: Object of type Tensor is not JSON serializable 网上提供了一种解决方案是这样的： #json.dump(detections.numpy, file_obj) json.dump(detections.numpy(), file_obj) 引发的又是另一个错误： AttributeError: 'list' object has no attribute'numpy' Emmm… 最终决定还是
【文件处理】——字典写入json文件或TXT文件，读取文件中的字典&TypeError: Object of type ‘ndarray‘ is not JSON serializable错误解决方法
python_AI_fans的博客
10-13 1749
目录 一、将字典写入json文件 二、json文件中读取字典 三、将字典写入TXT文件中 四、从TXT中读取字典 一、将字典写入json文件 import json test_dict = { 'version': "1.0", 'explain': { 'used': True, 'details': "this is for josn test", } } #将字典转换为字符串形式 json_str = json.dumps(t.
tensorflow.keras引用模型时报错 'str' object has no attribute 'decode'
最新发布
03-27
<think>嗯，用户遇到了TensorFlow Keras加载模型时的错误，提示'str' object没有'decode'属性。我需要先理解这个错误的原因。根据引用[2]和[3]，问题通常发生在使用较新版本的TensorFlow（比如2.4+）加载旧版本保存的模型，或者模型保存时使用了过时的序列化方法。在Python3中，字符串默认是unicode，不需要解码，而旧代码可能调用了decode方法，导致错误。 接下来，我需要考虑解决方案。引用[5]提到可以修改saving.py文件，在.decode('utf-8')前加.encode('utf-8')，但这种方法需要用户直接修改库文件，可能不太安全，升级TensorFlow版本后可能再次出问题。更好的方法可能是升级TensorFlow到最新版本，或者使用兼容性参数。例如，在加载模型时使用custom_objects参数，或者设置环境变量TF_ENABLE_SAVED_MODEL_LABELS=1。此外，检查保存模型的方式是否正确，使用model.save()而不是保存权重，如引用[4]提到的错误使用load_weights的问题。 另外，用户可能没有意识到版本兼容性的重要性。需要建议用户确认TensorFlow和Keras的版本是否匹配，并尝试重新训练和保存模型，如果旧模型无法加载。如果用户的环境受限，无法升级，临时修改h5py的编码方式也是一个可能的解决办法，比如使用h5py.File(filepath, 'r', encoding='utf-8')，但需要注意这种方法的稳定性。 最后，需要提醒用户检查模型保存时的代码，避免使用过时的API，并确保保存和加载的流程符合当前版本的规范。可能还需要用户提供更多的错误堆栈信息来进一步诊断问题，但根据现有引用，上述解决方案应该覆盖大部分情况。</think>针对TensorFlow/Keras加载模型时出现的`AttributeError: 'str' object has no attribute 'decode'`错误，以下是逐步解决方案： ### 1. 错误原因分析 该错误通常由以下原因导致： - 使用较新版本的TensorFlow（如2.4+）加载旧版本保存的模型[^2][^3] - 模型保存时使用了过时的序列化方法[^5] - Python3中字符串默认是unicode格式，旧代码调用`.decode()`引发错误 ### 2. 解决方案 #### 方法一：升级TensorFlow并重新保存模型 ```python # 先升级环境 pip install tensorflow --upgrade # 重新训练并保存模型 model.save('new_model.h5') # 使用HDF5格式保存完整模型 ``` #### 方法二：修改模型加载方式 ```python from tensorflow.keras.models import load_model # 添加custom_objects参数 model = load_model('old_model.h5', custom_objects={'<lambda>': lambda x: x}) ``` #### 方法三：临时编码修复 在加载模型前添加环境变量： ```python import os os.environ['TF_ENABLE_SAVED_MODEL_LABELS'] = '1' # 强制使用新格式解析 model = load_model('model.h5') ``` ### 3. 特殊情况处理 若使用`.load_weights()`方法时出错： ```python # 错误方式 model.load_weights('current_best.tf') # 返回字符串而非模型对象[^4] # 正确方式 model = create_model() # 先创建模型结构 model.load_weights('current_best.tf') ``` ### 4. 底层修复（不推荐） 如需手动修改库文件： 1. 定位到`tensorflow/python/keras/saving/saving_utils.py` 2. 找到`.decode('utf-8')`语句 3. 修改为`.encode('utf-8').decode('utf-8')` ### 5. 版本兼容建议 | TensorFlow版本 | 建议操作 | |----------------|----------| | <2.0 | 必须升级 | | 2.0-2.3 | 添加环境变量 | | ≥2.4 | 使用新保存格式 | 建议使用新格式保存模型： ```python model.save('model', save_format='tf') # TF SavedModel格式 ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值