keras深度训练6: 激活函数和损失函数的选择

相国大人 相国大人 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 4.8k累计阅读 4.8k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
原创 最新推荐文章于 2026-03-25 00:24:37 发布 4.8k 阅读 AI 写同款· GEO 优化 ›
神经网络训练：激活函数与损失函数的选择，一篇干到底！ 激活函数决定神经元怎么响应输入，是“反应力”损失函数决定模型往哪儿学，是“学习目标”激活函数选错，模型没法表达复杂关系损失函数选错，模型学错方向实战中，ReLU + 合适的损失函数是黄金组合。 阅读详情

使用ReLU作为激活函数还有必要用交叉熵计算损失函数吗？

https://blog.youkuaiyun.com/u010976453/article/details/78488279

收录于
DeepLearning

当前文章被收录于：

DeepLearning
22 篇文章 8 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Keras简单实现自定义损失函数 keras大家都用过，可是想要自定义一个简单的损失函数，可不是一件简单的事情，今天介绍一种笨比方法来自定义keras的函数，无需修改keras底层代码 我们把神经网络比作黑箱子，我们提供输入和答案，它就会自己学习啦（是不是很像小学生？），我们想自定义损失函数，可是keras底层错综复杂，但是可以通过提供模块化的损失函数封装来解决这个问题（不用修改keras源码） 目 录大致流程代码实现步骤代码实现-sin函数的拟合普通的keras实现自定义损失的实现 大致流程 因为【提供输入和答案就能自动学习】的特性，我 阅读详情

相关推荐

【深度学习框架学习| Keras Optimizers详解1】Keras最简单的深度学习框架！你对Keras Optimizers了解多少？来看看吧

【深度学习框架学习| Keras Optimizers详解1】Keras最简单的深度学习框架！你对Keras Optimizers了解多少？来看看吧

python练手项目实战 1582

详解Keras3.0 Layer API: Activation functions(激活函数)

【代码】详解Keras3.0 Layer API: Activation functions(激活函数)

lymake的博客 2631

Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解

使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........

盼小辉丶的博客 1万+

keras中激活函数的使用

两种方式： 一、通过keras封装的网络层中的activation参数指定： 例如，下面的卷积层中的指定的激活函数为ReLU函数： from keras.model import Sequential from keras.layers import Conv2D from keras.layers import MaxPooling2D model = Sequential() mod...

zfjBIT的专栏 7626

Keras深度学习实战——深度学习中常用激活函数和损失函数详解

本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。

走向CTO的路上... 1832

如何打开本地网络的防火墙端口（Windows版）解决ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。问题

ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。 最开始在遇到这个报错的时候十分不解，后来经过思考，有可能是服务器端口占用，或者并没有放行。因此搜查问题的关键是要先去排查问题。 在搜索栏输入控制面板 选择防火墙 选择开关 保证这些选项是开着的 选择高级设置 新建规则 创建协议端口 选择端口 允许连接 点击下一步 创建规则后点击下一步（后命名） 选择任意端口ALL即可 问题排查完毕！socket创建网络通信时，有读者

weixin_46900108的博客 9万+

常用激活函数比较

本文结构： 什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择 1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用

aliceyangxi1987的博客 7551

四足机器人——机械结构

目录 一、四足机器人腿型： 1、并联腿 2、串联腿 3、 腿的布局（关节配置） 二、四足机器人足端设计： 三、四足机器人膝关节驱动： 1、皮带轮驱动： 2、四连杆或者推杆驱动 四、四足机器人机械整体结构设计细节 一、四足机器人腿型： 1、并联腿 优点：受力角度来说，并联腿比串联腿好，并联腿较为灵活。 2、串联腿 优点：运动范围大 3、 腿的布局（关节配置） 为了使机器人具有较好的稳定性，一般会采用比较低的重心。这就导致了机器人腿的髋关节位置需要位于机器人身体的两侧..

m0_58585940的博客 3万+

激活函数的选择

那么你应该使用哪个激活函数来处理深层神经网络的隐藏层？ 虽然你的里程会有所不同，一般 ELU > leaky ReLU（及其变体）> ReLU > tanh > sigmoid。 如果您关心运行时性能，那么您可能喜欢 leaky ReLU超过ELU。 如果你不想调整另一个超参数，你可以使用前面提到的默认的α值（leaky ReLU 为 0.01，ELU 为 1）。 如果您有...

maybe_fate的博客 935

Windows/Mac/Linux三系统保姆级教程：用llama.cpp将safetensors模型转gguf格式（附常见错误解决）

本文提供Windows、Mac和Linux系统下使用llama.cpp将safetensors模型转换为gguf格式的详细教程，涵盖环境配置、转换原理及常见错误解决方案。通过跨平台兼容性处理，帮助开发者高效完成模型格式转换，优化边缘计算性能。

weixin_29227425的博客 270

JW01二氧化碳传感器实战：5分钟搞定Arduino环境监测系统（附完整代码）

本文详细介绍了如何使用JW01二氧化碳传感器与Arduino快速搭建环境监测系统。通过简单的硬件连接和完整的代码示例，读者可以在5分钟内实现CO2浓度实时监测，并了解数据解析、常见问题解决及进阶应用扩展。JW01传感器的高精度和易用性使其成为创客和嵌入式开发者的理想选择。

kite3的博客 383

Keras中的损失函数与激活函数

sigmoid与softmax分别为二分类和多分类激活函数，而binary crossentropy和categorical crossentropy分别为二分类和多分类的损失函数。

Lefenger 2603

silvaco——GaN HEMT探索

上图为输出特性曲线 ，分别是在栅压为1v、3v、5v的情况下，可以看出在1v时器件处于截止状态，只有非常小近似于0的电流通过，随着栅压逐渐增大，沟道开启，产生漏极电流。上图为栅极漏电流曲线和转移特性曲线以及其提取的参数，可以看到阈值电压为=1.30249V，当栅压为0v时，Id=8.01032e-006，当栅压为5V时，Ig=3.11627e-006。albrct.n，低场迁移率模型，bn.albrct，an.albrct是albrct模型中的参数，可以由用户自己设定。lat.temp，晶格自热模型；

weixin_61913839的博客 7617

如何利用GPU训练keras模型

1、keras-gpu环境搭建 anaconda+tensorflow-gpu参考文档（tensorflow-gpu.docx） 安装与tensorflow-gpu相兼容的keras版本，如本次实验环境为python3.6，tensorflow-gpu=1.14.0，keras=2.25，cuda=10.0，cudnn=7.6 2、keras基础知识 （1）数据预处理（图片、文本、序列数据）、网络层（模型构建）、数据集 （2）激活函数、损失函数、评价指标、优化方式、回调函数 （3）API使用（Sequen

思南的博客 1万+

Python爬虫实战：巧用HEAD请求和Cookie令牌绕过沃尔玛反爬（附完整代码）

本文详细介绍了如何利用Python爬虫技术，通过HEAD请求和Cookie令牌绕过沃尔玛的反爬机制。文章深入解析了人机验证系统的运作原理，并提供了完整的工程化实现代码，包括令牌池设计、高并发架构和异常处理策略，帮助开发者高效采集电商数据。

weixin_29046035的博客 1007

ISO13849功能安全从入门到精通（3）：安全功能及其对降低风险的贡献4

例如，如果机器必须在有限速度下运行时进行设置，那么在低加速度值下进行设置时，参数P1将是正确的选择:随着危险缓慢出现并给予足够的运动自由，操作员将能够移出危险区域。例如，在无故障的条件下，在操作者的手的方向移动的滚子不能陷住它。在所有其他情况下，F1是正确的选择，前提是危险暴露的持续时间不超过机器总操作时间的1/20。需求来源于必要的风险降低。由于这些考虑而降低的PLr在任何情况下都不得低于通过比较方式考虑的机器的PLr，因为并不能从事故发生率低和严重程度低得出实施的安全功能提供的安全水平高于要求。

wdconan001的博客 834

Keras深度神经网络入门

参考书籍和博客进行的实验总结，如发现错误，请大家斧正，谢谢阅读！ 目录 一、初步了解Keras框架 二、上手Keras（这里是以Python版TensorFlow作为后端堆栈的开发深度学习模型） 1、输入数据 2、神经元 3、激活函数 4、模型 5、层 6、损失函数 7、优化器 8、评价指标 9、配置模型 10、训练模型 11、模型评估 一、初步了解Keras框架 1、搭建神经网络 1）明确输入层，隐含层，输出层隐含各自的层数及其神经元数量。 ...

m0_46100359的博客 2502

深入探讨 SAP ERP 物料主数据中的 Valuation Type

在 SAP ERP 系统中，是用于区分同一种物料在不同条件下的估价方法。物料的估价可以因产地、质量等级、供应商或批次的不同而有所差异。通过为物料设置不同的估价类别，使企业能够对这些差异进行有效管理。为了实现更细致的物料成本核算，SAP 系统通过（分批估价）功能允许为同一物料设置多个估价类型。这种方法特别适合那些在来源、质量、或其他参数上存在显著差异的物料。是 SAP ERP 和 SAP S/4HANA 中物料主数据的核心组成部分，为企业提供了灵活的成本管理工具。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 1407

keras 自定义：激活函数，层，损失函数，正则化器，初始化器，学习率

自定义激活函数 import os from keras import backend as K from keras.layers import Activation,Conv2D from keras.utils.generic_utils import get_custom_objects os.environ["TF_CPP_MIN_LOG_LEVEL"] = "3" def ...

Loong Cheng的博客 6882

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

深度学习中的激活函数和损失函数

1、激活函数演变史 1）阶梯激活函数非0即1的阈值涉及使得输入的微小变化会引起输出的大幅度跳变，进而引进了较平缓的sigmoid、tanh。 2）sigmoid函数输出在0~1,比较符合概率分布的特点；中央区对信号增益大，两侧对信号增益小，分别对应神经元的兴奋态和抑制态。但是sigmoid 存在梯度消失的情况，网络深的时候就训练慢，甚至不可训练，需要通过无监督的逐层训练初始化权重来解决。 3）Re...

luckyqiong 1286

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

深度学习工具和框架详细指南：PyTorch、TensorFlow、Keras

在深度学习的世界中，PyTorch、TensorFlow和Keras是最受欢迎的工具和框架，它们为研究者和开发者提供了强大且易于使用的接口。在本文中，我们将深入探索这三个框架，涵盖如何用它们实现经典深度学习模型，并通过代码实例详细讲解这些工具的使用方法。

平凡程序猿~的博客 5431

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员，提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列，各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性，请参见数据手册。有关 ARM Cortex™-M4F 内核的信息，请参见《Cortex™-M4F 技术参考手册》。

keras 快速入门

文章目录了解一个简单的 keras 实例查看数据集查看图片数据查看训练集、测试集相关数据keras编程开始选择模型构建网络编译训练预测总结参考文献 Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras： 简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性） 支持CNN和RNN，或二者的结合 无缝CPU和GPU切换 K

_PEAK的博客 2420

keras训练和加载自定义的损失函数

多分类语义分割损失函数： #多分类dice def dice_coef_fun(smooth=0.001): def dice_coef(y_true, y_pred): #求得每个sample的每个类的dice intersection = K.sum(y_true * y_pred, axis=(1,2,3)) union = K.s...

爱CV 3120

关于keras　二分类情况下sigmoid与softmax激活函数以及binary_crossentropy与categorical_crossentropy损失函数的总结

最近在研究focal_loss时发现各种交叉熵损失函数写的形式都不一样，总结一下，以防以后使用． 首先sigmoid与softmax激活函数联系与区别： sigmoid激活函数： p(x)=11+ex p(x) = \frac{1}{1+e^x} p(x)=1+ex1​ softmax激活函数： p(xi)=exi∑j=1nexj p(x_i) =\frac{e^{x_i}}{\sum_{j=1}...

liuqiang3的博客 5738

初识深度学习以及keras的使用

什么是深度学习 深度学习是机器学习的一个分支领域，是从数据中学习表示的一种新方法，其主要是在连续的层中进行学习，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 下面放一张图来解释深度学习的过程。 首先是输入层，输入层中每一个节点表示一个特征，以这张图为例，假设特征数为4，分别为s1,s2,s3,s4，第一个...

weixin_42494845的博客 1598

深度学习框架：Pytorch与Keras的区别与使用方法

pytorch和keras都是一种深度学习框架，使我们能很便捷地搭建各种神经网络，但它们在使用上有一些区别，也各自有其特性，我们一起来看看吧我们以最简单的网络定义来学习pytorch的基本使用方法，我们接下来要定义一个神经网络，包括一个输入层，一个隐藏层，一个输出层，这些层都是线性的，给隐藏层添加一个激活函数Relu，给输出层添加一个Sigmoid函数return x])

Nowl的博客 5617
上一篇： keras深度训练5: 断点训练
下一篇： keras深度训练7: constant val_acc
点赞 0
评论 0
书签 书签 2
相国大人
相国大人
博客等级 码龄10年 1009粉丝 132原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值