【2021最新】Keras自定义Loss函数+接受输入+KerasTensor天坑解决方法

最新推荐文章于 2024-12-30 10:06:54 发布
原创 最新推荐文章于 2024-12-30 10:06:54 发布 · 3.6k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习

本文介绍了在Tensorflow 2.4环境下使用Keras自定义Loss函数时遇到的两个常见错误及其解决方案。包括如何处理KerasTensor与Tensor类型不匹配问题，以及如何解决因不同文件创建独立图而导致的操作不在同一图上的错误。

文章目录

自定义函数+输入方法

环境配置：Tensorflow2.4，keras2.4.3

Keras自定义Loss函数，增加输入的方法，网上到处都有。
主要就是来源stackoverflow上一个仁兄的回答。
具体是这个链接：中国搬运翻译版本
具体实现方法自己去看，暂不赘述。

stackoverflow的方案有个很大问题。

自定义输入的input_tensor是KerasTensor，但是默认的loss函数输出的是Tensor。实操就会报错。

KerasTensor和Tensor是完全不同的格式。
KerasTensor是Keras中封装的特殊的张量，不具备Tensor很多性质。
可以这么理解，Tensor向下兼容KerasTensor，但是KerasTensor不能向上兼容Tensor。
两种向量相加等各种操作之后，得到的会是KerasTensor，而非Tensor
Tensor+KerasTensor = KerasTensor

第一个错误

原本的loss函数返回的Tensor最后是会转成numpy array完成一次迭代的。
Tensor可以转成numpy array，但是KerasTensor不行。
实操之后会报错：'Cannot convert a symbolic Keras input/output to a numpy array. '

解决方案：

最低0.47元/天 解锁文章
Keras入门(1)：基本使用
rosefun96的博客
09-26 1669
1. Keras tensor keras的后端支持：Theano/Tensorflow/CNTK 介绍使用TensorFlow来在keras框架下定义tensor: variable(value, dtype='float32', name=None) >>> from keras import backend as K >>> val = np.array...
理解 keras 中的 "Layer" 和 "Tensor"
Wu的博客
08-08 1877
keras 中有两个基本的概念：Layer 和 Tensor Layer ：是模型的组成单位，用于构建神经网络框架 在 keras 中用 大写的 module 表示，用于搭建纯模型框架，涉及到计算时使用属性 input 或 output 调出其 Tensor 如以下代码，多用于简单的 Sequential 结构（导入模块部分省略，python=3.7, keras=2.6） n_in = 5...
详解：Tensorflow、Pytorch、Keras（搭建自己的深度学习网络）
weixin_61573157的博客
09-17 3471
由Google开发使用静态计算图广泛应用于生产环境有较为完善的部署工具由Facebook开发使用动态计算图更加灵活,适合研究和快速原型开发相对更加直观和易于调试最初是一个独立的高级API,现已成为TensorFlow的一部分提供更简单、更用户友好的接口可以使用TensorFlow或Theano作为后端适合快速实验和原型开发。
[keras]自定义loss层+接受输入
liudiudiu
09-09 4452
　loss函数如何接受输入值 keras封装的比较厉害，官网给的例子写的云里雾里， 在stackoverflow找到了答案 You can wrap the loss function as a inner function and pass your input tensor to it (as commonly done when passing additional arguments...
Loss函数，激活函数，规范化
water_likly的博客
09-28 948
最近在看深度学习时，一直很好奇，loss函数，激活函数，规范化到底是怎么弄出来的。 一直以为这个是固定不变的，然后收集了很多自恋，查看了很多博客。最后才有点眉目。 以下是个人浅见，希望各位大神，各位大大门指正。 一般而言：机器学习可以分为两大类：回归、分类： 回归：根据离散样本（xi，yi）归纳出一条平滑的曲线（或直线），并用这条曲线来预测事物的发展情况 分类：根据离散样本（xi
keras 自定义loss层+接受输入实例
09-16
在深度学习框架Keras中，自定义损失函数(loss layer)是非常常见的需求，因为标准的损失函数可能无法满足特定任务的优化目标。本文将详细介绍如何在Keras中自定义损失层并接受额外输入。 首先，我们要明确损失(loss)...
Keras自定义Loss函数
小姑仔的博客
05-31 2762
Keras本身提供了很多常用的loss函数（即目标函数），但这些损失函数都是比较基本的、通用的。有时候我们需要根据自己所做的任务来自定义损失函数，虽然Keras是一个很高级的封装，自定义loss还是比较简单的。 第一种方式：自定义函数 进入keras/keras/losses.py文件中，我们可以看到很多keras自带loss的实现代码，比如最简单的均方误差损失函数 def mean_squared_error(y_true,y_pred): return K.mean(K.square(y_pred-y
Keras输出Tensor具体值
GoldwaterKK的博客
07-13 3267
Keras输出Tensor具体值
tensorflow和keras
醋酸洋红的博客
06-30 785
张量是一个多维数组。与numpy ndarray对象类似 Metal device set to: Apple M1 tf.Tensor(4, shape=(), dtype=int32) tf.Tensor([2. 3. 4.], shape=(3,), dtype=float32) tf.Tensor( [[1. 2.] [3. 4.] [5. 6.]], shape=(3, 2), dtype=float16) 常用函数 变量 是一种特殊的张量，形状是不可变的，但可以更改其中的参数 数据输
keras-------"tensor"
qq_38153403的博客
03-07 271
tensor即张量/维度/轴 形象的描述为：1阶张量----------一条线段； 2阶张量----------一个平面； 3阶张量----------一个立方体； 4阶张量----------N个立方体摞起来。 理解沿着axis=0/1对array进行操作，分两步进行：1.得到沿着axis=0/1可得到的向量；2.对1中得到的向量进行操作。 可进行如下尝试： import numpy as py...
用 Keras/TensorFlow 2.9 创建深度学习模型的方法总结
drin201312的博客
06-04 5767
前言 Keras 中有 3 种方法可以创建深度学习模型：1. keras.Sequential 模型。 2.函数式 API。3.子类法 subclassing keras.Model。 因为可用的方法很多，灵活性大，实际使用时容易出错。 但是如果建模的目标，是能够表达任意结构的深度学习模型，并且能够看到模型的完整内部结构，那么在创建模型时，有 3 个简单的原则可以使用。.........
查看KerasTensor具体值
weixin_40451593的博客
01-07 3024
之前碰到过一次这个问题，一直没解决，这次又又碰上了，在模型采用Sequential（）方式定义的情况下，找到了一个解决办法，在此分享一下。 （如果有其他更方便的方法的话，一定要滴滴我一下啊啊啊！） 模型定义 model = tf.keras.Sequential() model.add(tf.keras.layers.Conv2D(4, 3, activation='relu', bias_initializer='random_uniform', padding='same',input_shape=in
获取KerasTensor类型的张量和tf.Tensor的张量的方法
qq_20381661的专栏
04-13 737
获取KerasTensor类型的张量和tf.Tensor的张量的方法
18- TensorFlow模型中Keras进阶 (TensorFlow系列) (深度学习)
March_A的博客
02-27 1390
AphaDropout的输出保持输入的均值和标准差不变。二分类是sigmoid, 多分类的话是softmax。BN层可以在激活函数之前, 也可以在激活函数之后。AlphaDropout和SELU激活函数一起使用。# 通常为先激活, 再进行BN。
17- TensorFlow中使用Keras创建模型 (TensorFlow系列) (深度学习)
March_A的博客
02-27 3978
Keras 是一个用 Python 编写的高级神经网络 API，它能够以 TensorFlow , CNTK 或者 Theano 作为后端运行。在Keras的官方github上写着"Deep Learning for humans", 主要是因为它能简单快速的创建神经网络,而不需要像Tensorflow一样考虑很多中间过程.
keras中文文档笔记17——将Keras作为tensorflow的精简接口
zhzhx0318的专栏
08-20 9841
将Keras作为tensorflow的精简接口在tensorflow中调用Keras层让我们以一个简单的例子开始：MNIST数字分类。我们将以Keras的全连接层堆叠构造一个TensorFlow的分类器，import tensorflow as tf sess = tf.Session()from keras import backend as K K.set_session(sess)然后，我们开
tensroflow-keras下tensorboard以及界面打印学习率
秀呀秀的博客
05-12 1168
''' 参考stackoverflow： https://stackoverflow.com/questions/49127214/keras-how-to-output-learning-rate-onto-tensorboard ''' ############# 添加部分 ############### class LearningRateLogger(tf.keras.callbacks.Callback): def __init__(self): super().__i.
深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
あずにゃん梓喵的博客
08-05 6194
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 安装 TensorFlow2、CUDA10、cuDNN7.6.5 Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5 TensorFlow 2.0 环境搭建 window下安装 Keras、Tenso...
【TensorFlow】Keras介绍与入门
热门推荐
专注上位机开发、机器视觉、机器学习、嵌入式软硬件开发
12-30 1万+
Keras 是一个高级神经网络API，它以简单性和快速实验设计为目标。Keras 既可以作为独立工具使用，也可以作为 TensorFlow、Microsoft Cognitive Toolkit (CNTK) 和 Theano 等后端的接口。自2017年起，Keras 成为了 TensorFlow 的官方高级 API，并且是推荐给初学者和专家的主要界面。
keras自定义loss函数如何在compile
最新发布
04-27
<think>好的，我现在需要帮助用户解决在Keras中自定义损失函数并在编译时使用的问题。首先，我得回忆一下Keras的相关知识，尤其是关于自定义损失函数的部分。根据用户提供的引用内容，特别是引用[2]和[3]，用户可能已经看过一些示例，但需要更清晰的步骤说明。 首先，用户的问题是如何定义自定义的loss函数并在model.compile中使用它。根据引用[2]，自定义的损失函数需要接受y_true和y_pred作为参数，并返回一个张量。同时，用户可能需要注意如何在Lambda层中处理额外的损失项，比如在模型内部计算某些特征之间的距离，然后将这些值合并到输出中，以便在损失函数中使用。这可能有点复杂，但用户提供的示例中提到了通过Lambda层将损失项连接到输出，然后在自定义损失函数中拆分出来。 接下来，我需要将步骤分解清楚。第一步是定义自定义损失函数，这需要符合Keras的规范，即参数是y_true和y_pred，并且使用Keras的后端函数，比如K.mean、K.square等。然后，在模型编译时，将这个函数传递给loss参数。另外，用户可能需要处理多输出或者添加额外损失的情况，这时候可能需要修改模型结构，将额外的损失值包含在模型的输出中，如引用[2]中的例子。 还需要注意，当自定义损失函数需要访问模型中间层的输出时，可能需要使用Lambda层将中间结果合并到模型的输出中，这样在计算损失时才能获取到这些值。例如，在引用[2]中，loss_dis_feature被计算后，通过Lambda层连接到输出，然后在自定义损失函数中拆分y_pred来获取这个值。这一点可能需要详细说明，避免用户遗漏这一步骤导致错误。 另外，引用[5]提到了损失函数的一些内置用法，比如sparse_categorical_crossentropy，这可能对用户理解内置函数和自定义函数之间的区别有帮助。但用户当前的问题是关于自定义的，所以重点应放在如何正确构建自定义函数并将其传递给compile方法。 还要注意，用户可能在自定义损失函数时遇到张量操作的问题，比如维度不匹配，或者没有正确使用Keras后端函数。需要提醒用户确保所有操作都是基于Keras后端（如Keras.backend中的函数）来保持计算图的正确性。 最后，用户可能需要示例代码来更好地理解步骤。根据引用中的示例，可以提供一个简单的自定义损失函数，比如均方误差加上一个自定义项，并展示如何在模型中整合这些计算，然后在编译时应用该损失函数。同时，需要强调在模型结构设计上的注意事项，比如通过Lambda层添加额外损失值到输出中，以便在损失函数中使用。 总结来说，回答应该分步骤说明如何定义函数、如何修改模型结构（如果需要）、如何在compile中使用自定义函数，并提供示例代码。同时，需要指出常见的错误点，如忘记使用后端函数或未正确传递参数，以及如何处理需要中间层输出的情况。</think>在Keras中自定义损失函数并通过`model.compile`应用，需遵循以下步骤： --- ### 一、基础自定义损失函数 **1. 定义损失函数** 使用Keras后端函数（`K.*`）构建计算逻辑，函数必须接受`(y_true, y_pred)`作为参数： ```python from keras import backend as K def custom_mse(y_true, y_pred): # 计算均方误差 + 额外惩罚项 mse = K.mean(K.square(y_true - y_pred), axis=-1) penalty = K.mean(K.abs(y_pred), axis=-1) # 示例：增加预测值绝对值的惩罚 return mse + 0.1 * penalty # 加权求和 ``` **2. 编译模型时指定** ```python model.compile(optimizer='adam', loss=custom_mse, # 直接传递函数对象 metrics=['mse']) ``` --- ### 二、复杂场景：结合中间层特征 当需要访问中间层输出时（如特征距离计算）[^2]： **1. 修改模型结构** 通过Lambda层将中间特征合并到输出： ```python from keras.layers import Lambda import tensorflow as tf def build_model(): inputs = Input(shape=(28,28,1)) x = Conv2D(32, (3,3))(inputs) feature = Conv2D(16, (3,3))(x) output = Dense(10)(feature) # 计算中间特征差异（示例） loss_feature = Lambda(lambda x: K.mean(x, axis=[1,2]))(feature) combined_output = tf.concat([output, loss_feature], axis=-1) return Model(inputs, combined_output) ``` **2. 定义损失函数** 从`y_pred`中拆分出原始输出和中间特征： ```python def combined_loss(y_true, y_pred): # 拆分预测值：前10维是真实输出，后16维是中间特征 output_pred = y_pred[:, :10] feature_pred = y_pred[:, 10:] # 计算标准交叉熵损失 ce_loss = K.sparse_categorical_crossentropy(y_true, output_pred) # 计算特征正则化项（示例） feature_loss = K.mean(feature_pred, axis=-1) return ce_loss + 0.5 * feature_loss ``` **3. 编译模型** ```python model = build_model() model.compile(optimizer='adam', loss=combined_loss, metrics=['accuracy']) ``` --- ### 三、关键注意事项 1. **张量维度对齐** 确保`y_pred`的维度与`y_true`匹配，若使用多输出需调整标签维度[^5] 2. **后端函数必要性** 所有运算必须使用`K.*`或`tf.*`操作，不能直接使用Numpy函数[^3] 3. **Lambda层的限制** 通过Lambda层添加的损失项不会自动参与梯度传播，需显式包含在损失计算中[^2] ---
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值