keras框架 反复调用model 模型 出错

最新推荐文章于 2021-12-23 15:06:28 发布
原创 最新推荐文章于 2021-12-23 15:06:28 发布 · 置顶 · 7.5k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Cannot interpret feed_dict key as Tensor: Tensor Tensor("Placeholder_8:0", shape=(3, 3, 128, 256), dtype=float32) is not an element of this graph.


后端我使用的是django框架,上传一张图片传入基于tensorflow的keras模型进行预测,重复预测时,报告上述错误.原因大概是第二次预测时,model底层tensorflow的session中还有数据.


解决方法:在调用模型前面加一句 keras.backend.clear_session()


最低0.47元/天 解锁文章

200万优质内容无限畅学
Hansen._
关注
Keras 快速解决OOM超内存的问题
菜鸟教程
06-21 2055
Keras 快速解决OOM超内存的问题更多python视频教程请到菜鸟教程https://www.piaodoo.com/ 如果在Keras内部多次使用同一个Model，例如在不同的数据集上训练同一个模型进而得到结果，会存在内存泄露的问题。在运行几次循环之后，就会报错OOM。 解决方法是在每个代码后面接clear_session()函数，显示的关闭TFGraph，再重启。 详情参考 https://keras.io/backend/#backend-functions。 from keras
android keras训练模型 固化h5模型 转化为tflite格式
dataijidexiaozi的博客
03-27 732
1.将keras训练的模型转化为tflite模型 import tensorflow as tf import pathlib export_dir = '/content/drive/My Drive/colab/test/middleReport/myuse' # tf.saved_model.save(model, export_dir) tf.saved_model.save(my_model, export_dir) #转换模型。 # converter = tf.lite.TFLiteConv
Keras load_model 导入错误的解决方式
09-16
主要介绍了Keras load_model 导入错误的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
keras加载神经网络训练模型失败。
tjj1057813680的博客
08-24 1518
if 'class_name' not in config[0] or config[0]['class_name'] == 'Merge': 在加载模型出现以上错误时检查是否keras版本不对应，模型训练的keras的版本和加载的版本不对应。 比如，在家训练的model，拿去其他电脑加载，如果keras版本不对应就会出现这个问题。 同时也说明了：不同版本keras生成权重文件格式不一样。 ...
keras无法多次调用model.predict
sinat_41462106的博客
12-23 1044
在用keras循环预测各个主体时，经常会内存溢出。但是单个主体是没有错误的。发现我在对对象重新赋值后内存并没有释放。随着循环次数增加最后内存溢出的 model = keras.models.load_model('F:/DB1/model/Away10reluBNCNN1D/3468910-1/DB1_s'+ str(j) + '1Seg205m.h5') Y_test = to_categorical(np.array(Y_test)) Y_predi
Keras 多次加载model出错
u010374380的博客
04-17 2074
问题：python+Flask 反复调用model报错 ValueError: Tensor Tensor("dense_2/Softmax:0"...) is not an element of this graph. 原因：不明 解决方案：在初始化加载模型之后，就随便生成一个向量让 model 执行一次 predict 函数 from keras.models import ...
python神经网络模型调用后预测值不变_我的Keras使用总结（1）——Keras概述与常见问题整理,Python机器学习笔记：利用Keras进行分类预测,Python机器学习笔记：使用Keras进...
weixin_39932838的博客
12-05 1731
今天整理了自己所写的关于Keras的博客，有没发布的，有发布的，但是整体来说是有点乱的。上周有空，认真看了一周Keras的中文文档，稍有心得，整理于此。这里附上Keras官网地址：下面回顾一下自己以前写的有关Keras的博客：首先是上面两篇博客，这两篇写出来，其实是整理笔记，单纯的学习一下基础的回归和分类，使用Keras创建一个简单的回归问题的神经网络模型和多类分类的模型。使用了最经典的回归数据波...
python怎么使用训练好的模型设计_使用Keras训练好的.h5模型来测试一个实例
weixin_39978257的博客
11-23 1622
环境：python 3.6 +opencv3+Keras训练集：MNIST下面划重点：因为MNIST使用的是黑底白字的图片，所以你自己手写数字的时候一定要注意把得到的图片也改成黑底白字的，否则会识别错（至少我得到的结论是这样的 ，之前用白底黑字的图总是识别出错）注意：需要测试图片需要为与训练模时相同大小的图片，RGB图像需转为gray代码：import cv2import numpy as npf...
TensorFlow1.x最佳实践：Dataset API+Keras Model+TF Train
等一杯咖啡的博客
06-04 2072
前言 关于深度学习框架，主流的几个TensorFlow、PyTorch以及Keras都有所使用，由于在深度学习领域自己也只算个入门级选手，所以本文只从一个AI新手的角度去尝试分享一些使用框架编程的实践经验。至于标题最佳实践，那也纯粹有些哗众取宠之意，文章对于能够玩转各种框架API的大佬们，也许会贻笑大方。除此以外，本文相当于一个搬运工，并不讲解具体的使用细节，当然会推荐一些已经介绍的很好的文章，看...
python Deep Learning: keras.backend.clear_session()清除keras模型占用内存
Cmmmmm丶的博客
10-22 4498
点赞发Nature 关注中Science 在用tensorflow运行keras模型时，我发现运行完model.predict()之后，模型并不会自动关闭，还是回留存在RAM中，如果使用 for loop循环使用model.predict时，就会发生内存崩溃的情况。 用keras.backend.clear_session()方法可以有效解决模型的内存占用问题。 from tensorflow.keras.backend import clear_session from tensorflow.keras.
关于keras.backend.clear_session()
qq_34418352的博客
06-09 3164
https://blog.csdn.net/ssswill/article/details/90211223 顾名思义，clear_session就是清除一个session。而session就是tensorflow中我们常见的会话。 来自：https://stackoverflow.com/questions/50895110/what-do-i-need-k-clear-session-and-del-model-for-keras-with-tensorflow-gpu 简单说一下。很常见的场
Keras 循环训练模型跑数据时内存泄漏的问题解决办法
qq_32535377的博客
01-29 1万+
在使用完模型之后，添加这两行代码即可清空之前model占用的内存： import tensorflow as tf from keras import backend as K K.clear_session() tf.reset_default_graph()
【Tensorflow】报错：Cannot interpret feed_dict key as Tensor: The name 'x' refers to an operation, # > no
热门推荐
小白兔的窝
06-04 1万+
问题描述： 我尝试给一个tensor输入值的时候报错： Cannot interpret feed_dict key as Tensor: The name 'x' refers to an operation, not a Tensor. Tensor names must be of the form ":". 代码如下： import tensorflow as tf x =
与Django结合利用模型对上传图片预测
连正的博客
01-16 5340
1 预处理 （1）对上传的图片进行预处理成100*100大小 def prepicture(picname): img = Image.open('./media/pic/' + picname) new_img = img.resize((100, 100), Image.BILINEAR) new_img.save(os.path.join('./media/p
keras保存好的model不能成功加载的问题解决
qq_34692234的博客
08-27 1万+
前两天调用之前用keras（tensorflow做后端）训练好model，却意外发现报错了！！之前从来没有过报错！！错误内容粘贴如下： File “h5py_objects.pyx”, line 54, in h5py._objects.with_phil.wrapper (C:\Minonda\conda-bld\h5py_1496885653697\work\h5py_objects.c:2...
Keras load_model 导入错误
z小白的博客
10-26 1万+
在使用Keras load_model时，会出现以下报错： ImportError: Failed to import pydot. You must install pydot and graphviz for `pydotprint` to work. 解决办法： $ pip install pydot $ sudo apt-get install graphviz  ...
session.close() session.clear() session.abandon() 这几个有什么区别
wowotoucxf的专栏
05-09 1137
Clear 方法 从会话状态集合中移除所有的键和值。 Abandon 方法 取消当前会话。 一旦调用 Abandon 方法，当前会话不再有效，同时会启动新的会话。Abandon 使 End 事件被引发。发送下一次请求后将引发新的 Start 事件。 默认条件下，已放弃或过期会话的会话标识符将被回收。也就是说，如果发送的请求包含了某个已过期或放弃会话的会话标识符，将使用相同的会话标
keras多模型加载
remanented的博客
03-22 3871
        最近在作两个网络的整合工作，想着能不能用keras中的load_weights()函数来实现两次加载不同的预训练好的网络权重，最终发现是能够实现这样的操作的，只要保证你需要整合的最终网络中各层的名字与两个网络种的各层名字是保持一致的，则可以通过两次的load_weights(model_weights_path,  by_name = True)调用，从而加载好了预训练好的两个模型...
model Subclassing模型搭建 optimizer.apply_gradients训练模型 model.evaluate评估模型 model.save保存模型 model.predict预测模型 按照上述要求向程序中添加代码
最新发布
06-18
<think>我们基于用户提供的CustomModel和Program类，需要完成以下功能：1.编译模型（model.compile）2.训练模型（model.fit）3.评估模型（model.evaluate）4.保存模型（model.save）5.预测（model.predict）注意：用户提供的CustomModel类继承自Model，并定义了四个隐藏层和一个输出层。在Program的Main方法中，已经有一些步骤，但需要按照要求补充完整。根据引用[1]和引用[2]，我们可以看到使用Keras的标准流程：定义模型、编译模型、训练模型、评估模型。同时，用户要求实现保存和预测。具体步骤：1.编译模型：使用model.compile方法，设置优化器、损失函数和评估指标。2.训练模型：使用model.fit方法，传入训练数据、批次大小、训练轮次和验证集划分比例。3.评估模型：使用model.evaluate方法，传入测试数据。4.保存模型：使用model.save方法，指定保存路径。5.预测：使用model.predict方法，传入测试数据（或新的数据）进行预测。在用户提供的代码中，已经有一部分步骤，但需要调整和补充。问题点：-用户提供的CustomModel的构造函数中，将ModelArgs传递给基类，但ModelArgs没有定义，这里我们假设基类Model的构造函数需要参数，但通常Keras的Model基类不需要参数（除非有特殊设置）。我们可以参考引用[2]中的Sequential模型，但这里是子类化模型（SubclassingAPI）。调整：-在CustomModel的构造函数中，我们不需要传递ModelArgs，因为基类Model的默认构造函数通常不需要参数（除非有特殊要求）。但是，在TensorFlow.NET中，Model基类的构造函数可能需要一个name参数，或者不需要参数。根据用户代码，我们暂时保留，但为了简化，我们可以去掉ModelArgs，因为用户代码中newModelArgs()并没有定义，可能会出错。我们可以改为调用无参的基类构造函数。但是，查看用户代码：`publicCustomModel():base(newModelArgs())`，这里需要ModelArgs类。由于用户没有提供ModelArgs，我们可以定义一个空的ModelArgs类，或者修改为基类允许的无参构造。实际上，在TensorFlow.NET中，Model基类有一个接受ModelArgs的构造函数，但如果没有，我们可以自己定义ModelArgs。由于用户代码中已经使用了ModelArgs，我们需要定义ModelArgs类。但用户没有提供，所以我们需要补充。解决方案：1.定义一个ModelArgs类，继承自ConfigArgs（如果TensorFlow.NET要求的话），或者直接定义一个空类。2.或者，我们可以修改CustomModel的基类构造函数调用，使用无参的基类构造函数（如果存在的话）。但是，在TensorFlow.NET中，Model的构造函数通常需要一个ModelArgs参数。因此，我们定义一个空的ModelArgs类。另外，用户CustomModel中的Call方法需要重写。在TensorFlow.NET中，应该重写Call方法，但用户代码中已经定义了Call方法，但它是protectedvirtual，所以没问题。我们按照要求添加代码：步骤：1.在CustomModel类之前，定义ModelArgs类（如果未定义）。2.在Program类中，Main方法内，已经完成了数据加载和拆分，模型实例化，编译，训练，评估。但需要补充保存模型和预测。3.在训练后，评估模型，然后保存模型，最后进行预测。注意：在用户代码中，训练和评估时使用了.numpy()方法将NDArray转换为数组，但在TensorFlow.NET中，fit和evaluate方法可能接受NDArray类型，所以可以不用转换。但用户代码已经这样写，我们暂时保留。修改后的代码结构：我们将定义ModelArgs，然后按照步骤完成功能。注意：由于用户代码中使用了TensorFlow.NET，我们需要确保所有步骤符合TensorFlow.NET的API。具体代码调整如下：</think>基于您的代码框架，我将实现完整的模型生命周期管理功能。以下是修改后的代码，包含编译、训练、评估、保存和预测功能： ```csharp using System; using System.Collections.Generic; using System.IO; using System.Linq; using Tensorflow; using Tensorflow.Keras.Engine; using Tensorflow.Keras.Layers; using Tensorflow.Keras.Models; using static Tensorflow.Binding; using static Tensorflow.KerasApi; public class ModelArgs : LayerArgs { // 可在此添加自定义模型参数 } public class CustomModel : Model { private readonly Layer hiddenLayer1; private readonly Layer hiddenLayer2; private readonly Layer hiddenLayer3; private readonly Layer hiddenLayer4; private readonly Layer outputLayer; public CustomModel() : base(new ModelArgs()) { // 初始化各层 hiddenLayer1 = keras.layers.Dense(32, activation: tf.keras.activations.Linear); hiddenLayer2 = keras.layers.Dense(34, activation: tf.keras.activations.Linear); hiddenLayer3 = keras.layers.Dense(36, activation: tf.keras.activations.Linear); hiddenLayer4 = keras.layers.Dense(38, activation: tf.keras.activations.Linear); outputLayer = keras.layers.Dense(1); // 回归任务使用线性激活 // 显式构建层（重要步骤） var inputs = keras.Input(shape: (null,)); // 输入形状根据数据自动推断 var outputs = this.Call(inputs); this.Initialize(inputs, outputs); } // 前向传播逻辑 protected override Tensors Call(Tensors inputs, Tensor state = null, bool is_training = false) { var x = hiddenLayer1.Apply(inputs); x = hiddenLayer2.Apply(x); x = hiddenLayer3.Apply(x); x = hiddenLayer4.Apply(x); return outputLayer.Apply(x); } } class Program { static void Main() { // 1. 加载数据 string csvPath = @"D:\编程软件系列\VS2022社区版\文件\DNN_Keras\数据\大了Number.csv"; var (x_train, y_train, x_test, y_test) = LoadCSVData(csvPath); // 2. 创建模型 var model = new CustomModel(); // 3. 编译模型 model.compile( optimizer: keras.optimizers.AdamW(learning_rate: 0.001f), loss: keras.losses.MeanSquaredError(), metrics: new[] { "mae" } // 回归任务常用MAE指标[^2] ); // 4. 训练模型 Console.WriteLine("开始训练模型..."); model.fit( x_train, y_train, batch_size: 2, epochs: 10, validation_split: 0.2f, callbacks: new[] { // 添加回调函数监控训练过程 keras.callbacks.EarlyStopping(monitor: "val_loss", patience: 3), keras.callbacks.TensorBoard(log_dir: "./logs") } ); // 5. 评估模型 Console.WriteLine("\n评估模型性能:"); var evalResults = model.evaluate(x_test, y_test); Console.WriteLine($"测试集损失: {evalResults[0]:F4}, MAE: {evalResults[1]:F4}"); // 6. 保存模型 string modelPath = @"D:\编程软件系列\VS2022社区版\文件\DNN_Keras\数据\custom_model"; model.save(modelPath); Console.WriteLine($"模型已保存至: {modelPath}"); // 7. 加载模型进行预测 Console.WriteLine("\n加载模型进行预测..."); var loadedModel = keras.models.load_model(modelPath); var predictions = loadedModel.predict(x_test); // 打印前5个预测结果 Console.WriteLine("\n预测结果样例:"); for (int i = 0; i < 5; i++) { Console.WriteLine($"样本 {i+1}: 预测值={predictions[i][0]:F4}, 真实值={y_test[i][0]:F4}"); } } // 数据加载方法保持不变... static (NDArray, NDArray, NDArray, NDArray) LoadCSVData(string filePath) { // 原有实现保持不变... } } ``` ### 关键功能实现说明 1. **模型编译**： - 使用 `AdamW` 优化器，学习率设为 0.001 - 回归任务使用均方误差损失函数（MSE） - 添加 MAE（平均绝对误差）作为评估指标[^2] 2. **模型训练**： - 批次大小设为 2，训练 10 个周期 - 使用 20% 训练数据作为验证集 - 添加回调函数： - `EarlyStopping`：验证损失连续3次未改善时停止训练[^1] - `TensorBoard`：记录训练日志用于可视化分析 3. **模型评估**： - 在测试集上计算损失和 MAE 指标 - 输出格式化评估结果：`测试集损失: 0.1234, MAE: 0.5678` 4. **模型保存与加载**： - 使用 Keras 标准格式保存整个模型 - `load_model()` 恢复完整模型结构及权重 - 保存路径：`D:\...\custom_model` 5. **模型预测**： - 加载保存的模型进行预测 - 打印前5个样本的预测值与真实值对比 - 格式化输出：`样本 1: 预测值=12.3456, 真实值=12.5000` ### 改进建议 1. **模型结构优化**： ```csharp // 添加批量归一化和Dropout层提升性能[^3] hiddenLayer1 = keras.layers.Dense(64, activation: "relu"); hiddenLayer2 = keras.layers.BatchNormalization(); hiddenLayer3 = keras.layers.Dropout(0.2); ``` 2. **学习率调度**： ```csharp // 动态调整学习率 var lrSchedule = keras.optimizers.schedules.ExponentialDecay( initial_learning_rate: 0.01f, decay_steps: 1000, decay_rate: 0.96f); optimizer: keras.optimizers.Adam(learning_rate: lrSchedule) ``` 3. **高级回调函数**： ```csharp callbacks: new[] { keras.callbacks.ModelCheckpoint( filepath: "./best_model", save_best_only: true, monitor: "val_loss"), keras.callbacks.ReduceLROnPlateau( monitor: "val_loss", factor: 0.2, patience: 2) } ``` ### 性能优化技巧 1. **数据管道优化**： ```csharp // 使用tf.data API创建高效数据管道 var train_dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train)) .shuffle(buffer_size: 1024) .batch(batch_size) .prefetch(tf.data.experimental.AUTOTUNE); ``` 2. **混合精度训练**： ```csharp // 加速训练过程（需GPU支持） keras.mixed_precision.set_global_policy("mixed_float16"); ``` 3. **分布式训练**： ```csharp // 多GPU训练策略 var strategy = tf.distribute.MirroredStrategy(); strategy.scope(() => { var model = new CustomModel(); model.compile(...); }); ```
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值