Keras保存模型时报错“Not JSON Serializable”的解决方案

最新推荐文章于 2024-05-17 09:31:57 发布
原创 最新推荐文章于 2024-05-17 09:31:57 发布 · 2.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Keras #tensorflow

本文介绍了一个Keras与Tensorflow兼容性的小Bug及其解决方案。通过修改site-packages>keras>engine>saving.py文件中的特定代码段，可以解决因Keras backend为Tensorflow时产生的问题。
部署运行你感兴趣的模型镜像
  1. 这是Keras本身的一个小bug
  2. 如果使用时，Keras的backend是Tensorflow时，可以采用下述方案解决：
    在site-packages>keras>engine>saving.py文件中加上下述代码
    from tensorflow.python.framework.tensor_shape import Dimension
    if type(obj) == Dimension:
    return int(obj.value or 0)
    参考链接：
    https://github.com/keras-team/keras/issues/9342#issuecomment-396056333

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Keras问题：Save Model: TypeError:(‘Not JSON Serializable:‘, Dimension(3))
m0_37859875的博客
09-14 929
环境：keras-2.2.2，tensorflow-2.1.0，python3.7 使用keras训练时 保存模型的时候报错，解决方案比较扯淡- -貌似是一个不愿意解决的bug 这个需改keras的源码，具体的改正方法见github的issues9342 https://github.com/keras-team/keras/issues/9342 from tensorflow.python.framework.tensor_shape import Dimension if type(obj) == D
Keras保存模型的各种方法
技术的点点滴滴
12-29 5104
这里写自定义目录标题模型图构建训练模型保存模型hdf5格式持久化json格式持久化tf-serving调用的pb格式 Keras训练模型有多种保存方法，可以保存为hdf5文件，也可以保存为json格式文件，可以同时保存模型图和权重，也可以单独保存模型图和权重，还可以保存为tensorflow-serving支持的pb格式。下面以一个简单的模型分别来介绍不同的保存方法。 模型图构建 下面用keras...
tensorflow keras 存储模型错误 使用自定义层 报错 TypeError: ('Not JSON Serializable:', ) 等
qq_44930937的博客
02-26 3782
错误原因 原因在于使用了自定义的层 例如：定义损失函数 Loss（因为这个函数不好，就不多做说明了，只是做个例子来说明） def contrastive_loss_layer(top_different, deep_different, y_true): margin = 1000 top_distance=tf.norm((top_different),ord...
今日实验总结2
江湖夜雨十年灯
04-02 350
（1）为什么同样的代码在两个不同机子上报不同的错，一个属性错误，明明初始化的时候就已经把模型加载了，进程名称换了重新提交之后又没有报错了，玄学… （2）另一台机器为毛三个进程永远只跑第一个，是因为内存太小的原因吗，只有3G，反正这两种方式都不行；同样的代码以前也没问题，还是GPU跑的; for t in processes: t.start() t.join() for t in processes: t.start()
Keras问题：Save Model: TypeError: ('Not JSON Serializable:', )
Funkdub的博客
08-26 5508
环境：win10，keras-2.2.4，tensorflow-1.13.1，python3.6 使用keras训练时保存模型的时候报错，解决方案比较扯淡- -貌似是一个不愿意解决的bug 这个需改keras的源码，具体的改正方法见github的issues9342https://github.com/keras-team/keras/issues/9342 from tensorfl...
TypeError: Object of type ‘int64‘ is not JSON serializable
qq_43208491的博客
09-19 473
在使用json格式保存数据时，出现TypeError:type(**) is not JSON serializable，也就是无法序列化某些对象格式，我所遇见的是我使用了numpy时，使用了np的数据格式，写入data后，json.dumps(data)失败，我们可以自己定定义对特定类型的对象的序列化，下面看下怎么定义和使用关于np数据类型的自定义。 import numpy class NpEncoder(json.JSONEncoder): def default(self, obj):
Keras保存与加载模型（JSON+HDF5）
sun___M的博客
10-31 1万+
在Keras中，有时候需要对模型进行序列化与反序列化。进行模型序列化时，会将模型结果与模型权重保存在不同的文件中，模型权重通常保存在HDF5文件中，模型的结构可以保存在JSON或者YAML文件中。后二者方法大同小异，这里以JSON为例说明一下Keras模型的保存与加载。 from sklearn import datasets import numpy as np from keras.mod...
Keras深度学习框架第九讲：保存、序列化以及导出模型
MUKAMO的博客
05-17 1719
Keras提供了灵活的模型保存、序列化和导出功能。通过model.save()，可以完整保存模型结构和权重到HDF5或SavedModel格式，便于后续加载和复用。model.get_config()方法能够序列化模型结构为JSON字典，而from_config()类方法可据此重新创建模型。对于模型权重的单独保存和加载，可以使用model.save_weights()和model.load_weights()。Keras还支持将模型导出为TFLite格式，适用于移动和嵌入式设备。这些功能大大简化了模型的部署
keras保存模型和加载模型
huanhuan_Coder的博客
10-24 3587
1、保存模型和加载模型的方法 用实验室的服务器跑神经网络的时候服务器老是断开连接，这对我的训练和测试来时是一件比较崩溃的事，因为这意味着我要重新训练一次，要浪费又一次的时间，所以我在网上百度了保存模型和加载模型的办法，大部分的方法如下： 保存模型 model.save('my_model.h5') 加载模型 model = load_model('my_model.h5') 但是由...
Keras保存模型时报错“Not JSON Serializable”
weixin_58309419的博客
03-23 394
在尝试site-packages>keras>engine>saving.py文件中加上下述代码时。后来，我直接重新下了一个tensorflow2.3.0版本问题就解决了。这里我尝试了网上几乎所有的解决办法，都没什么用。它return也会报错。
关于“TypeError: Layer tf.compat.v1.nn.fused_batch_norm was passed non-JSON-serializable arguments.”
qq_37697947的博客
03-05 744
最近在使用别人的code做图像块匹配。因为别人的code是用tensorflow=2.0.0写的。不能放到GPU上训练。我把它放到了tensorflow=2.10.0上跑。具体在代码中就是使用tf.keras.layers.experimental.SyncBatchNormalization()我按照这个https://stackoverflow.com/revisions/71902078/3 改就成功了。代替 tf.keras.layers.BatchNormalization()
TypeError: Object of type xxx is not JSON serializable错误解决
家里没矿
06-09 2万+
这个错误是因为在导入Python json包，调用json.dump/dumps函数时，可能会遇到TypeError: Object of type xxx is not JSON serializable错误，也就是无法序列化某些对象格式。 解决办法： 点击进去json的包，然后在其中添加MyEncoder，把原来的JsonEncoder给替换掉。 因为我还需要定义时间的序列格式，所以我的MyEncoder可能比较万能，大家自己根据需要自己修改。 1.首先json包内定义类MyEncoder #我自己重新
在使用json.dumps时遇到报错TypeError: is not JSON serializable
进击的扛把子
10-16 2217
is not JSON serializable
tf.contrib.layers.batch_norm 报错
weixin_44441898的博客
05-11 5760
文章目录tf.contrib.layers.batch_norm 报错 batch_normalization() got an unexpected keyword argument 'is_training'解决方法 tf.contrib.layers.batch_norm 报错 batch_normalization() got an unexpected keyword argument ‘is_training’ tf.contrib是tensorflow v1版本的函式库，在更新到v2时候，这个
Tensorflow系列：tf.contrib.layers.batch_norm
Candy_GL的博客
03-14 1万+
tf.contrib.layers.batch_norm(     inputs,     decay=0.999,     center=True,     scale=False,     epsilon=0.001,     activation_fn=None,     param_initializers=None,     param_regularizers=None,     up...
Python3运行报错：TypeError: Object of type ‘type‘ is not JSON serializable解决方法（不是针对对象转Json的方法）
热门推荐
qq_38680405的博客
07-20 5万+
问题描述： Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。 json.dumps() #将Python中的对象转换为JSON中的字符串对象 json.loads() #将JSON中的字符串对象转换为Python中的对象 这个问题是由于json.dumps()函数引起的。dumps是将dict数据转化为str数据，但是dict数据中包含byte、int、float、datetime等等的时候，数据所以会报错。 可能会遇到T...
TypeError: Object of type datetime is not JSON serializable
qq_37253540的博客
06-20 4980
一、问题描述 我是在使用requests.post(url=douyin_url, json=singer_data)时，需要传入singer_data但是其中的一个字段是时间这个特殊字段。 如：{'rankingDate': '2019-06-20 17:05:03.483030'}，其中这个值是通过datetime.datetime.now()获得的当前时间。结果执行时出现上面的错误。 ...
TypeError: Object of type Tensor is not JSON serializable
bb_sy_w的博客
12-13 4932
测试模型时，保存检测结果时出现这个错误： TypeError: Object of type Tensor is not JSON serializable 网上提供了一种解决方案是这样的： #json.dump(detections.numpy, file_obj) json.dump(detections.numpy(), file_obj) 引发的又是另一个错误： AttributeError: 'list' object has no attribute'numpy' Emmm… 最终决定还是
【文件处理】——字典写入json文件或TXT文件，读取文件中的字典&TypeError: Object of type ‘ndarray‘ is not JSON serializable错误解决方法
python_AI_fans的博客
10-13 1753
目录 一、将字典写入json文件 二、json文件中读取字典 三、将字典写入TXT文件中 四、从TXT中读取字典 一、将字典写入json文件 import json test_dict = { 'version': "1.0", 'explain': { 'used': True, 'details': "this is for josn test", } } #将字典转换为字符串形式 json_str = json.dumps(t.
public class CustomL2Regularizer : IRegularizer { private float _l2; // 无参构造函数（Keras 反序列化时自动调用） public CustomL2Regularizer() : this(0.01f) { } // 带参构造函数（支持自定义参数，参数名需与 get_config 返回的键一致） public CustomL2Regularizer(float l2 = 0.01f) => _l2 = l2; // 核心正则化逻辑（计算 L2 损失） public Tensor Call(Tensor weights) => _l2 * tf.reduce_sum(tf.square(weights)); // 序列化配置（返回的参数需与构造函数参数严格匹配） public object get_config() => new { l2 = _l2 }; /// <summary> /// 获取配置字典，包含所有可调参数，方便在其他程序中注册 /// </summary> /// <returns>包含所有可调参数的字典</returns> public Dictionary<string, object> GetConfig() { return new Dictionary<string, object> { { "_l2", _l2 }, { "ClassName", nameof(CustomL2Regularizer) } }; } /// <summary> /// 获取L2正则化系数 /// </summary> /// <returns>L2系数值</returns> public float GetL2() { return _l2; } // IRegularizer 接口要求的其他方法（无实际用途时可抛异常） public Tensor Apply(RegularizerArgs args) => throw new NotImplementedException(); } 上述代码自定义正则化器类是否已经正确定义并实现
最新发布
11-26
<think> 我们正在使用Keras.NET（基于TensorFlow.NET）进行深度学习模型的加载和预测。在加载模型时遇到了一个异常，提示无法实例化一个接口或抽象类（IRegularizer）。这通常是因为模型包含自定义的正则化器（例如CustomL2Regularizer），而在C#端没有正确提供该自定义类的定义和注册。 根据用户的问题，现在需要判断自定义的正则化器类`CustomL2Regularizer`是否已经正确定义并实现。以下是一个完整的检查指南： ### 1. 类定义完整性检查 自定义正则化器必须满足以下条件： - 继承自`Regularizer`基类 - 实现`Apply`方法 - 具有无参构造函数（用于序列化时的反射创建） - 标记为`[Serializable]`（用于JSON序列化） 正确示例： ```csharp [Serializable] public class CustomL2Regularizer : Regularizer { // 无参构造函数（必须存在） public CustomL2Regularizer() { } // 实现Apply方法 public override Tensor Apply(RegularizerArgs args) { // 实现L2正则化：0.01 * sum(weights^2) return 0.01f * tf.reduce_sum(tf.square(args.X)); } } ``` ### 2. 实现正确性验证 为了验证正则化器的计算逻辑是否正确，可以编写单元测试： ```csharp [Test] public void CustomL2Regularizer_Apply_ReturnsCorrectValue() { // 创建正则化器实例 var regularizer = new CustomL2Regularizer(); // 创建一个权重张量 var weights = tf.constant(new float[] { 1.0f, 2.0f, 3.0f }, shape: new Shape(3)); // 计算正则化损失 var loss = regularizer.Apply(new RegularizerArgs(weights)); // 预期结果：0.01 * (1^2 + 2^2 + 3^2) = 0.01 * 14 = 0.14 Assert.AreEqual(0.14f, (float)loss.numpy()); } ``` ### 3. 序列化兼容性检查 确保类能被JSON序列化框架识别： ```csharp [Test] public void CustomL2Regularizer_CanSerializeAndDeserialize() { var original = new CustomL2Regularizer(); // 序列化为JSON string json = JsonConvert.SerializeObject(original); // 反序列化 var deserialized = JsonConvert.DeserializeObject<CustomL2Regularizer>(json); // 验证类型 Assert.IsInstanceOf<CustomL2Regularizer>(deserialized); } ``` ### 4. 模型集成验证 在构建模型时使用自定义正则化器，并保存/加载模型以验证： ```csharp // 构建模型 var model = keras.Sequential(); model.add(keras.layers.Dense(32, kernel_regularizer: new CustomL2Regularizer())); // 保存模型 model.save("test_model.keras"); // 加载模型前注册自定义对象 keras.utils.generic_utils.Globals.CustomObjects["CustomL2Regularizer"] = new CustomL2Regularizer(); // 加载模型 var loadedModel = keras.models.load_model("test_model.keras"); ``` ### 常见错误排查表 | 错误现象 | 解决方案 | |----------|----------| | `JsonSerializationException` | 添加`[Serializable]`属性 | | `TargetInvocationException` | 确保存在无参构造函数 | | 计算值与预期不符 | 检查`Apply`方法的数学公式 | | 加载后模型行为不一致 | 验证注册的键名是否与保存时一致 | ### 数学原理验证 L2正则化的数学公式为： $$L_{reg} = \lambda \sum_{i} w_i^2$$ 其中$\lambda$为正则化系数（示例中为0.01），$w_i$为权重值。 ### 完整生命周期测试流程 1. **创建模型**：使用自定义正则化器构建模型 2. **训练验证**：检查训练日志中正则化损失是否按预期出现 3. **保存模型**：观察模型文件是否包含`"kernel_regularizer": {"class_name": "CustomL2Regularizer"}`配置 4. **加载模型**：在C#环境中成功加载并执行预测 通过以上步骤，即可确认`CustomL2Regularizer`已正确定义并实现。 ### 相关问题 1. 如何在Keras.NET中实现自定义激活函数？ 2. TensorFlow.NET加载模型时报错`Unknown regularizer`如何解决？ 3. 如何验证Keras.NET中自定义层的正确性？ 4. 在Keras.NET中如何保存和加载包含自定义对象的模型？ </think> ### 判断自定义正则化器类 `CustomL2Regularizer` 的正确定义与实现指南 #### ✅ 1. **类定义检查** ```csharp // 必须继承 TensorFlow.Keras.Regularizers.Regularizer [Serializable] // 必须的序列化标记 public class CustomL2Regularizer : Regularizer { // 必须有无参构造函数（序列化要求） public CustomL2Regularizer() : this(0.01f) {} // 可选的带参构造函数 public CustomL2Regularizer(float factor) { _factor = factor; } private readonly float _factor; // 必须重写 Apply 方法 public override Tensor Apply(RegularizerArgs args) { // 正确实现 L2 正则化公式： // $L2 = \lambda \sum w_i^2$ return _factor * tf.reduce_sum(tf.square(args.X)); } } ``` **检查点**： - 继承链：`Regularizer → AutoTrackable → IRegularizer` - `[Serializable]` 属性存在 - 有无参构造函数 #### ✅ 2. **数学实现验证** 使用单元测试验证计算正确性： ```csharp [Test] public void CustomL2Regularizer_CalculatesCorrectly() { // 准备测试数据 var weights = tf.constant(new float[,] { { 1, 2 }, { 3, 4 } }); var args = new RegularizerArgs(weights); // 执行计算 var result = new CustomL2Regularizer(0.01f).Apply(args); var value = result.numpy(); // 验证数学公式： // $0.01 \times (1^2 + 2^2 + 3^2 + 4^2) = 0.01 \times 30 = 0.3$ Assert.AreEqual(0.3f, (float)value); } ``` **公式验证**： $$ \text{输出} = \lambda \times \sum_{i=1}^{n} w_i^2 $$ 其中 $\lambda$ 是正则化系数 #### ✅ 3. **模型集成验证** 测试在真实模型中的使用： ```csharp // 创建使用自定义正则化器的模型 var model = keras.Sequential(); model.add(keras.layers.Dense( units: 32, kernel_regularizer: new CustomL2Regularizer(0.01f) // 正确注入 )); // 验证正则化损失项 var total_loss = model.Losses; Assert.IsTrue(total_loss.Count > 0); // 应存在正则化损失项 ``` #### ✅ 4. **序列化兼容性检查** ```csharp // 序列化测试 var json = JsonConvert.SerializeObject(new CustomL2Regularizer()); // 反序列化测试 var deserialized = JsonConvert.DeserializeObject<CustomL2Regularizer>(json); Assert.IsNotNull(deserialized); // 必须能成功还原 ``` #### ✅ 5. **错误场景测试** ```csharp // 测试空权重输入 Assert.DoesNotThrow(() => new CustomL2Regularizer().Apply(null)); // 测试极端值 var extremeWeights = tf.constant(float.MaxValue); var result = new CustomL2Regularizer().Apply( new RegularizerArgs(extremeWeights)); Assert.IsFalse(float.IsNaN(result.numpy())); ``` ### 正确实现的特征总结 1. **计算结果符合数学定义**：输出值严格遵循 $ \lambda \sum w^2 $ 公式 2. **梯度传播正确**：在反向传播中能正确影响权重更新 3. **序列化兼容**：支持模型保存/加载 4. **数值稳定性**：处理极端值时不产生 NaN 5. **无副作用**：不影响模型的其他计算图 ### 常见错误修复表 | 错误现象 | 解决方案 | |---------|----------| | `NotImplementedException` | 重写所有抽象方法 | | `JsonSerializationException` | 添加 `[Serializable]` 标记 | | 梯度为 `None` | 确保使用 TensorFlow 操作（如 `tf.square`） | | 正则化效果为零 | 检查 $\lambda$ 值是否过小 | | 多设备计算错误 | 避免在 `Apply()` 中使用 .NET 原生操作 | ### 相关问题 1. 如何在 TensorFlow.NET 中实现自定义激活函数？ 2. Keras 模型中的 L1 和 L2 正则化有何区别？ 3. 如何验证自定义 Keras 层的梯度计算正确性？ 4. TensorFlow.NET 中的正则化器如何影响模型过拟合？ 5. 如何将 Python 实现的 Keras 自定义层移植到 C#？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值