神经网络 - 激活函数、损失函数、优化器

【人工智能】神经网络优化:复杂度学习率、激活函数、损失函数、缓解过拟合、优化器... 目录预备知识tf.where()np.random.RandomState.rand()np.vstack()np.mgrid[] .ravel() np.c_[]np.mgrid[]x.ravel()np.c_[]神经网络(NN)复杂度学习率指数衰减学习率激活函数常用激活函数 Sigmoid函数常用激活函数 Tanh函数常用激活函数 Relu函数常用激活函数 Leaky Relu函数损失函数l... 阅读详情

神经网络核心组件全解析:激活函数、损失函数、优化器与鞍点问题

一文搞懂神经网络训练中的所有核心组件,从原理到选型,从公式到实战。


📑 目录


一、激活函数是什么?

为什么需要激活函数?

如果没有激活函数,神经网络会退化成线性模型:

y = W 2 ⋅ ( W 1 ⋅ x + b 1 ) + b 2 = ( W 2 W 1 ) ⋅ x + ( W 2 b 1 + b 2 ) y = W_2 \cdot (W_1 \cdot x + b_1) + b_2 = (W_2 W_1) \cdot x + (W_2 b_1 + b_2) y=W2​⋅(W1​⋅x+b1​)+b2​=(W2​W1​)⋅x+(W2​b1​+b2​)

不管多少层,最终还是一个线性变换。网络再深也等于一层。

加上激活函数后:

h = σ ( W 1 ⋅ x + b 1 ) h = \sigma(W_1 \cdot x + b_1) h=σ(W1​⋅x+b1​)

y = W 2 ⋅ h + b 2 y = W_2 \cdot h + b_2 y=W2​⋅h+b2​

网络就能拟合任意复杂的非线性函数。

激活函数分两类

隐藏层激活:为了引入非线性,让网络能拟合复杂函数
输出层激活:为了匹配任务,让输出变成想要的形式

两者目的完全不同,不能混为一谈。


二、隐藏层激活函数

2.1 Sigmoid

σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1​

导数:

σ ′ ( x ) = σ ( x ) ( 1 − σ ( x ) ) \sigma'(x) = \sigma(x)(1 - \sigma(x)) σ′(x)=σ(x)(1−σ(x))

输出范围:(0, 1)
导数范围:(0, 0.25]
优点缺点
可表示概率梯度消失严重
平滑可导输出非零中心
-计算含 exp,慢

适用: 二分类输出层(隐藏层已不推荐)


2.2 Tanh

tanh ⁡ ( x ) = e x − e − x e x + e − x \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+e−xex−e−x​

导数:

tanh ⁡ ′ ( x ) = 1 − tanh ⁡ 2 ( x ) \tanh'(x) = 1 - \tanh^2(x) tanh′(x)=1−tanh2(x)

输出范围:(-1, 1)
导数范围:(0, 1]
优点缺点
零中心仍有梯度消失
比 Sigmoid 收敛快计算含 exp

适用: RNN、LSTM 隐藏层


2.3 ReLU(最常用)

ReLU ( x ) = max ⁡ ( 0 , x ) \text{ReLU}(x) = \max(0, x) ReLU(x)=max(0,x)

导数:

ReLU ′ ( x ) = { 1 , x > 0 0 , x ≤ 0 \text{ReLU}'(x) = \begin{cases} 1, & x > 0 \\ 0, & x \leq 0 \end{cases} ReLU′(x)={1,0,​x>0x≤0​

输出范围:[0, +∞)
导数:0 或 1
优点缺点
计算快死神经元
不饱和输出非零中心
稀疏激活-
收敛快-

适用: CNN、深层网络、大部分前馈网络、MCU 部署

什么是死神经元?

x ≤ 0 时导数恒为 0
如果某个神经元一直输出 0
它的权重永远不更新
这个神经元就"死了"

2.4 LeakyReLU

LeakyReLU ( x ) = { x , x > 0 α x , x ≤ 0 \text{LeakyReLU}(x) = \begin{cases} x, & x > 0 \\ \alpha x, & x \leq 0 \end{cases} LeakyReLU(x)={x,αx,​x>0x≤0​

通常 α = 0.01 \alpha = 0.01 α=0.01。

优点缺点
解决死神经元多一个超参数
保留 ReLU 大部分优点输出非零中心

适用: 深层网络、GAN


2.5 PReLU

PReLU ( x ) = { x , x > 0 α x , x ≤ 0 \text{PReLU}(x) = \begin{cases} x, & x > 0 \\ \alpha x, & x \leq 0 \end{cases} PReLU(x)={x,αx,​x>0x≤0​

其中 α \alpha α 是可学习参数。

优点缺点
自适应负半轴斜率参数增多
比 LeakyReLU 更灵活小数据容易过拟合

2.6 ELU

ELU ( x ) = { x , x > 0 α ( e x − 1 ) , x ≤ 0 \text{ELU}(x) = \begin{cases} x, & x > 0 \\ \alpha(e^x - 1), & x \leq 0 \end{cases} ELU(x)={x,α(ex−1),​x>0x≤0​

优点缺点
零中心计算含 exp
负半轴平滑比 ReLU 慢
抗噪声-

2.7 SELU

SELU ( x ) = λ { x , x > 0 α ( e x − 1 ) , x ≤ 0 \text{SELU}(x) = \lambda \begin{cases} x, & x > 0 \\ \alpha(e^x - 1), & x \leq 0 \end{cases} SELU(x)=λ{x,α(ex−1),​x>0x≤0​

其中 λ ≈ 1.0507 \lambda \approx 1.0507 λ≈1.0507, α ≈ 1.6733 \alpha \approx 1.6733 α≈1.6733。

优点缺点
自归一化需要特定初始化
不需要 BatchNorm只适合全连接网络

2.8 GELU(Transformer 标配)

GELU ( x ) = x ⋅ Φ ( x ) \text{GELU}(x) = x \cdot \Phi(x) GELU(x)=x⋅Φ(x)

其中 Φ ( x ) \Phi(x) Φ(x) 是标准正态分布的累积分布函数。

近似形式:

GELU ( x ) ≈ 0.5 x ( 1 + tanh ⁡ ( 2 π ( x + 0.044715 x 3 ) ) ) \text{GELU}(x) \approx 0.5x\left(1 + \tanh\left(\sqrt{\frac{2}{\pi}}(x + 0.044715x^3)\right)\right) GELU(x)≈0.5x(1+tanh(π2​ ​(x+0.044715x3)))

优点缺点
平滑计算稍慢
效果好-

适用: Transformer(BERT、GPT)


2.9 Swish / SiLU

Swish ( x ) = x ⋅ σ ( x ) \text{Swish}(x) = x \cdot \sigma(x) Swish(x)=x⋅σ(x)

优点
平滑
无上界有下界
效果好

2.10 Mish

Mish ( x ) = x ⋅ tanh ⁡ ( ln ⁡ ( 1 + e x ) ) \text{Mish}(x) = x \cdot \tanh(\ln(1 + e^x)) Mish(x)=x⋅tanh(ln(1+ex))

优点
平滑
比 Swish 稍好

2.11 隐藏层激活函数对比表

函数输出范围梯度消失死神经元计算速度适用
Sigmoid(0, 1)严重无慢输出层
Tanh(-1, 1)有无慢RNN
ReLU[0, +∞)无有快首选
LeakyReLU(-∞, +∞)无无快深层
PReLU(-∞, +∞)无无快深层
ELU(-α, +∞)无无中抗噪
SELU(-λα, +∞)无无中自归一化
GELU(-∞, +∞)无无中Transformer
Swish(-∞, +∞)无无中通用
Mish(-∞, +∞)无无中通用

2.12 隐藏层选型口诀

默认首选:ReLU
死神经元多:LeakyReLU / PReLU
RNN/LSTM:Tanh
Transformer:GELU
自归一化网络:SELU
MCU 部署:ReLU

三、输出层激活函数

3.1 Softmax(多分类互斥)

Softmax ( x i ) = e x i ∑ j = 1 K e x j \text{Softmax}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{K} e^{x_j}} Softmax(xi​)=∑j=1K​exj​exi​​

输出范围:(0, 1)
所有输出之和 = 1
可看作概率分布

数值稳定版:

Softmax ( x i ) = e x i − max ⁡ ( x ) ∑ j e x j − max ⁡ ( x ) \text{Softmax}(x_i) = \frac{e^{x_i - \max(x)}}{\sum_j e^{x_j - \max(x)}} Softmax(xi​)=∑j​exj​−max(x)exi​−max(x)​

适用: 多分类互斥,搭配 CrossEntropyLoss


3.2 Sigmoid(二分类 / 多标签)

σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1 + e^{-x}} σ(x)=1+e−x1​

输出范围:(0, 1)
每个输出独立
输出之和 ≠ 1

适用: 二分类、多标签分类,搭配 BCELoss


3.3 Linear(回归)

Linear ( x ) = x \text{Linear}(x) = x Linear(x)=x

输出范围:(-∞, +∞)
不做任何变换

适用: 回归任务,搭配 MSELoss


3.4 Tanh(有界回归)

tanh ⁡ ( x ) = e x − e − x e x + e − x \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} tanh(x)=ex+e−xex−e−x​

输出范围:(-1, 1)
零中心

适用: 回归(有界输出)、角度预测(sin/cos)


3.5 输出层激活函数选择表

任务输出层激活损失函数输出之和
多分类互斥SoftmaxCrossEntropy= 1
二分类SigmoidBCE≠ 1
多标签SigmoidBCE≠ 1
回归LinearMSE无意义
有界回归TanhMSE无意义

3.6 常见疑问:Sigmoid 能多分类吗?

能,但那是多标签分类,不是多分类互斥。

多标签:每个标签独立,Sigmoid,BCE
  例子:一张图可以同时有猫、狗、人
  输出:[0.9, 0.7, 0.3],加起来 ≠ 1

多分类互斥:只能选一个,Softmax,CrossEntropy
  例子:一张图只能是猫、狗、人中的一种
  输出:[0.7, 0.2, 0.1],加起来 = 1

关键区别:输出之和要不要等于 1。


四、损失函数

4.1 MSE(均方误差)

MSE = 1 N ∑ i = 1 N ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 MSE=N1​i=1∑N​(yi​−y^​i​)2

导数:

∂ MSE ∂ y ^ i = 2 N ( y ^ i − y i ) \frac{\partial \text{MSE}}{\partial \hat{y}_i} = \frac{2}{N}(\hat{y}_i - y_i) ∂y^​i​∂MSE​=N2​(y^​i​−yi​)

优点缺点
数学形式简单对异常值敏感
对大误差敏感分类任务梯度消失

适用: 回归


4.2 MAE(平均绝对误差)

MAE = 1 N ∑ i = 1 N ∣ y i − y ^ i ∣ \text{MAE} = \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y}_i| MAE=N1​i=1∑N​∣yi​−y^​i​∣

优点缺点
对异常值鲁棒零点不可导
梯度稳定收敛慢

4.3 Huber Loss

Huber = { 1 2 ( y − y ^ ) 2 , ∣ y − y ^ ∣ ≤ δ δ ∣ y − y ^ ∣ − 1 2 δ 2 , 否则 \text{Huber} = \begin{cases} \frac{1}{2}(y - \hat{y})^2, & |y - \hat{y}| \leq \delta \\ \delta |y - \hat{y}| - \frac{1}{2}\delta^2, & \text{否则} \end{cases} Huber={21​(y−y^​)2,δ∣y−y^​∣−21​δ2,​∣y−y^​∣≤δ否则​

优点
小误差用 MSE,大误差用 MAE
兼顾精度和鲁棒性

4.4 CrossEntropy(多分类标配)

CE = − ∑ i = 1 K y i log ⁡ ( y ^ i ) \text{CE} = -\sum_{i=1}^{K} y_i \log(\hat{y}_i) CE=−i=1∑K​yi​log(y^​i​)

因为 one-hot,简化为:

CE = − log ⁡ ( y ^ 正确类别 ) \text{CE} = -\log(\hat{y}_{\text{正确类别}}) CE=−log(y^​正确类别​)

导数(对 logits):

∂ CE ∂ z i = y ^ i − y i \frac{\partial \text{CE}}{\partial z_i} = \hat{y}_i - y_i ∂zi​∂CE​=y^​i​−yi​

优点缺点
梯度干净对噪声敏感
收敛快-
适合分类-

适用: 多分类互斥,搭配 Softmax


4.5 BCE(二元交叉熵)

BCE = − 1 N ∑ i = 1 N [ y i log ⁡ ( y ^ i ) + ( 1 − y i ) log ⁡ ( 1 − y ^ i ) ] \text{BCE} = -\frac{1}{N} \sum_{i=1}^{N} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)] BCE=−N1​i=1∑N​[yi​log(y^​i​)+(1−yi​)log(1−y^​i​)]

导数:

∂ BCE ∂ z i = y ^ i − y i \frac{\partial \text{BCE}}{\partial z_i} = \hat{y}_i - y_i ∂zi​∂BCE​=y^​i​−yi​

适用: 二分类、多标签,搭配 Sigmoid


4.6 Focal Loss(类别不平衡)

FL = − α ( 1 − y ^ ) γ log ⁡ ( y ^ ) \text{FL} = -\alpha (1 - \hat{y})^\gamma \log(\hat{y}) FL=−α(1−y^​)γlog(y^​)

其中 γ \gamma γ 是聚焦参数,通常取 2。

优点
解决类别不平衡
聚焦难样本

适用: 目标检测、类别不平衡分类


4.7 KL 散度

KL ( P ∥ Q ) = ∑ i P ( i ) log ⁡ P ( i ) Q ( i ) \text{KL}(P \| Q) = \sum_i P(i) \log \frac{P(i)}{Q(i)} KL(P∥Q)=i∑​P(i)logQ(i)P(i)​

适用: 知识蒸馏、分布对齐、变分自编码器


4.8 Triplet Loss

L = max ⁡ ( 0 , d ( a , p ) − d ( a , n ) + margin ) L = \max(0, d(a, p) - d(a, n) + \text{margin}) L=max(0,d(a,p)−d(a,n)+margin)

其中:

a = anchor(锚点)
p = positive(同类)
n = negative(异类)

适用: 人脸识别、度量学习


4.9 损失函数对比表

损失任务输出层对大误差对异常值
MSE回归Linear非常敏感敏感
MAE回归Linear线性鲁棒
Huber回归Linear折中较鲁棒
CE多分类Softmax敏感敏感
BCE二分类/多标签Sigmoid敏感敏感
Focal不平衡分类Softmax聚焦难样本敏感
KL分布对齐Softmax--
Triplet度量学习Linear--

4.10 损失函数选型口诀

回归 → MSE / Huber / MAE
多分类互斥 → CrossEntropy
二分类 → BCE
多标签 → BCE
类别不平衡 → Focal Loss
知识蒸馏 → KL
度量学习 → Triplet

五、梯度优化器

5.1 SGD(随机梯度下降)

w = w − η ⋅ g w = w - \eta \cdot g w=w−η⋅g

优点缺点
简单容易震荡
内存小收敛慢
泛化好对学习率敏感

5.2 Momentum(加惯性)

v = β ⋅ v + g v = \beta \cdot v + g v=β⋅v+g

w = w − η ⋅ v w = w - \eta \cdot v w=w−η⋅v

优点
方向稳
冲过小坑
加速收敛

5.3 Nesterov Momentum

v = β ⋅ v + ∇ L ( w − η ⋅ β ⋅ v ) v = \beta \cdot v + \nabla L(w - \eta \cdot \beta \cdot v) v=β⋅v+∇L(w−η⋅β⋅v)

w = w − η ⋅ v w = w - \eta \cdot v w=w−η⋅v

优点
比 Momentum 更准
收敛更快

5.4 Adagrad

s = s + g 2 s = s + g^2 s=s+g2

w = w − η s + ϵ ⋅ g w = w - \frac{\eta}{\sqrt{s} + \epsilon} \cdot g w=w−s ​+ϵη​⋅g

优点缺点
自适应学习率学习率单调递减
适合稀疏数据后期几乎不更新

5.5 RMSprop

s = β ⋅ s + ( 1 − β ) ⋅ g 2 s = \beta \cdot s + (1 - \beta) \cdot g^2 s=β⋅s+(1−β)⋅g2

w = w − η s + ϵ ⋅ g w = w - \frac{\eta}{\sqrt{s} + \epsilon} \cdot g w=w−s ​+ϵη​⋅g

优点
自适应学习率
适合 RNN
对学习率不敏感

5.6 Adam(最常用)

一阶矩:

m = β 1 ⋅ m + ( 1 − β 1 ) ⋅ g m = \beta_1 \cdot m + (1 - \beta_1) \cdot g m=β1​⋅m+(1−β1​)⋅g

二阶矩:

v = β 2 ⋅ v + ( 1 − β 2 ) ⋅ g 2 v = \beta_2 \cdot v + (1 - \beta_2) \cdot g^2 v=β2​⋅v+(1−β2​)⋅g2

偏差修正:

m ^ = m 1 − β 1 t , v ^ = v 1 − β 2 t \hat{m} = \frac{m}{1 - \beta_1^t}, \quad \hat{v} = \frac{v}{1 - \beta_2^t} m^=1−β1t​m​,v^=1−β2t​v​

更新:

w = w − η ⋅ m ^ v ^ + ϵ w = w - \eta \cdot \frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon} w=w−η⋅v^ ​+ϵm^​

优点缺点
收敛快内存大
对学习率不敏感泛化有时不如 SGD
通用-

5.7 AdamW(Transformer 标配)

w = w − η ⋅ m ^ v ^ + ϵ − η ⋅ λ ⋅ w w = w - \eta \cdot \frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon} - \eta \cdot \lambda \cdot w w=w−η⋅v^ ​+ϵm^​−η⋅λ⋅w

优点
权重衰减正确
泛化更好
Transformer 标配

5.8 优化器对比表

优化器动量自适应权重衰减收敛速度内存
SGD无无手动慢小
Momentum有无手动中小
Adagrad无有手动中中
RMSprop无有手动中中
Adam有有不完善快大
AdamW有有完善快大

5.9 优化器选型口诀

新手/通用 → Adam,lr=0.001
图像分类 → SGD+Momentum,lr=0.01
RNN/LSTM → RMSprop 或 Adam
Transformer → AdamW,lr=0.0001
追求泛化 → SGD+Momentum
追求速度 → Adam / AdamW

六、鞍点问题

6.1 什么是鞍点?

鞍点是梯度为 0,但不是局部最小值的点。

某些方向是上升
某些方向是下降

数学上:

∇ L = 0 \nabla L = 0 ∇L=0

但 Hessian 矩阵既有正特征值,也有负特征值。

6.2 为什么高维空间鞍点更多?

n 维空间中:
  局部最小值:所有方向都上升 → 概率 ≈ 1/2^n
  鞍点:部分上升部分下降 → 概率远大于局部最小值

所以高维空间里,鞍点比局部最小值常见得多。

6.3 解决鞍点的方法

方法原理
Momentum动量让参数在鞍点处继续前进
Adam自适应学习率,梯度小的方向自动放大步长
噪声注入在梯度上加随机噪声,帮助跳出鞍点
随机初始化避免一开始就落在鞍点
二阶优化用 Hessian 信息判断方向(牛顿法、LBFGS)
Skip Connection残差连接,让梯度可以直接跳过
学习率调度Warmup + 余弦退火,帮助跳出鞍点

6.4 鞍点 vs 局部最小值

项目鞍点局部最小值
梯度00
方向部分上升部分下降全上升
高维空间常见稀少
解决动量、噪声随机重启

七、综合应用场景

场景隐藏层激活输出层激活损失函数优化器学习率
图像分类ReLUSoftmaxCrossEntropySGD+M0.01
目标检测ReLULinear+Softmax多任务SGD+M0.01
语义分割ReLUSoftmaxCE+DiceAdam0.001
自然语言GELULinearCrossEntropyAdamW0.0001
语音识别ReLU/GELUSoftmaxCTCAdam0.001
时序预测ReLU/TanhLinearMSE/HuberAdam0.001
电机观测器ReLUTanhMSEAdam0.001
推荐系统ReLUSigmoid/SoftmaxBCE/CEAdam0.001
强化学习ReLU/TanhLinear/SoftmaxTD/策略梯度Adam0.0003
GANLeakyReLUTanh/Sigmoid对抗损失Adam0.0002

八、总结与选型口诀

8.1 核心公式

w = w − η ⋅ ∂ L ∂ w w = w - \eta \cdot \frac{\partial L}{\partial w} w=w−η⋅∂w∂L​

8.2 选型总口诀

隐藏层激活:
  默认 ReLU
  死神经元 → LeakyReLU
  RNN → Tanh
  Transformer → GELU
  MCU → ReLU

输出层激活:
  多分类互斥 → Softmax
  二分类/多标签 → Sigmoid
  回归 → Linear
  有界回归 → Tanh

损失函数:
  回归 → MSE
  多分类 → CrossEntropy
  二分类/多标签 → BCE
  不平衡 → Focal

优化器:
  通用 → Adam,lr=0.001
  图像 → SGD+Momentum,lr=0.01
  Transformer → AdamW,lr=0.0001
  RNN → RMSprop

鞍点:
  动量 + 自适应学习率 + 噪声注入

8.3 一句话总结

激活函数引入非线性,损失函数衡量误差,优化器更新权重。
隐藏层选 ReLU,输出层按任务选 Softmax/Sigmoid/Linear。
回归用 MSE,分类用 CE/BCE,不平衡用 Focal。
新手用 Adam,图像用 SGD+M,Transformer 用 AdamW。
鞍点用动量、自适应学习率、噪声注入来解决。

神经网络基础:激活函数损失函数与优化器 神经网络基础:激活函数、损失函数与优化器 作者:禅与计算机程序设计艺术 1. 背景介绍 随着深度学习的蓬勃发展,神经网络已经成为当今人工智能领域最为重要和广泛应用的技术之一。神经网络的核心在于它能够通过学习数据中隐藏的复杂模式,从而实现对未知数据的高效预测和分类。而在 阅读详情

相关推荐

(tensorflow笔记)神经网络中的一些关键概念(学习率、激活函数、损失函数、欠拟合和过拟合、正则化和优化器)

目录标题1.神经网络复杂度空间复杂度时间复杂度2.学习率策略指数衰减学习率分段常数衰减3.激活函数sigmoidtanhReLULeaky ReLU建议损失函数欠拟合与过拟合正则化减少过拟合优化器更新网络参数 1.神经网络复杂度 神经网络的复杂度,多用神经网络的层数和神经网络中待优化参数的个数表示。以下图为例说明 空间复杂度 神经网络的层数=隐藏层的层数+1个输出层 统计神经网络的层数时,只统计具有运算能力的层,输入层仅把数据传输过来,没有运算,不算到神经网络的层数中。输入层和输出层之间的所有层都叫做隐藏

m0_46177963的博客 3417

神经网络初探之激活函数、损失函数、优化器

神经网络的数学基础是张量运算 图片、视频、时间序列等在计算机内都可以转换成不同维度的张量,神经网络就是通过对这些张量进行不同的运算最后得到得到想要的结果的过程 ...

weixin_44111292的博客 2049

PyTorch神经网络核心构件与训练循环实战:全连接层、激活函数、损失函数与优化器

深度学习模型训练依赖全连接层、激活函数、损失函数和优化器等核心构件。全连接层通过权重矩阵实现特征变换,激活函数引入非线性,损失函数衡量预测偏差,优化器则基于梯度更新参数。理解这些模块的数学原理与工程实现,能有效提升模型收敛速度与泛化能力。在图像分类、文本处理等任务中,合理组合这些构件是构建高效神经网络的基础。本文以PyTorch为例,详解各构件的设计意图、参数选择与常见陷阱,并给出可复现的完整训练循环,帮助开发者避开loss不降、维度不匹配等典型问题。

weixin_29031057的博客 198

【pytorch(06)】全连接神经网络:基本组件认知,线性层、激活函数、损失函数、优化器

nn.Linear是 PyTorch 中的一个非常重要的模块,用于实现全连接层(也称为线性层)。通常,损失函数的值越小,表示模型的预测越接近真实值。训练过程中,通过优化算法(如梯度下降)最小化损失函数,从而调整模型的参数。,内置了自动的前向传播逻辑,它会自动将输入数据依次传递给其中的每一层,并执行前向传播,不需要显式定义。在PyTorch中,优化器(Optimizer)是用于更新模型参数以最小化损失函数的核心工具。激活函数的作用是在隐藏层引入非线性,使得神经网络能够学习和表示复杂的函数关系,使网络具备。

2302_76685892的博客 758

优化器和激活函数有何区别?

激活函数对这个线性组合的值进行非线性变换,从而增加神经网络的非线性表达能力。如果没有激活函数,多层神经网络就等价于一个线性回归模型。每次随机选取一个样本计算梯度并更新参数。更新神经网络模型参数的工具。优点是计算简单、内存占用少。无法处理复杂的非线性问题。是否能够找到全局最优解。

Captain823Jack的博客 911

pytorh 激活函数,循环神经网络层,损失函数和优化器

激活函数 PyTorch实现了常见的激活函数,其具体的接口信息可参见官方文档,这些激活函数可作为独立的layer使用。这里将介绍最常用的激活函数ReLU,其数学表达式为: ReLU(x)=max(0,x)ReLU(x)=max(0,x)ReLU(x)=max(0,x) relu = nn.ReLU(inplace=True) input = t.randn(2, 3) print(input) o...

微信号:RunsenLiu 1882

TensorFlow神经网络优化:复杂学习率、激活函数、损失函数、过拟合、梯度爆炸、优化器

神经网络优化:复杂学习率(指数衰减学习率、分段常数衰减学习率),激活函数(非线性、可微性、单调性、近似恒等性),损失函数(均方误差、交叉熵、自定义),过拟合,梯度爆炸(逐步减小学习率、数据预处理),优化器

Explore 2789

神经网络的关键组件:激活函数、损失函数与优化器

本文深入探讨了神经网络中的三个核心概念:激活函数、损失函数和优化器。通过分析ReLU、Sigmoid、Softmax激活函数,以及二元交叉熵和分类交叉熵等损失函数,本文揭示了它们在模型训练和预测中的作用。同时,文章也对比了梯度下降、随机梯度下降(SGD)和Adam等优化器的原理和适用场景,并通过一个简单的代码示例展示了如何在Keras中实现这些组件。

weixin_35045970的博客 378

神经网络五大核心模块:激活函数、损失函数、优化器、正则化与前馈结构

神经网络并非黑箱,其本质是由前馈结构定义信息流向、激活函数控制神经元响应、损失函数量化学习目标、优化器驱动参数更新、正则化约束模型复杂度所构成的严密系统。理解这五大基础模块的协同机制,是实现可调试、可解释、可部署深度模型的前提。尤其在工业级场景中,ReLU死区、CIoU定位偏差、AdamW权重衰减失配、L2与BatchNorm冲突等典型问题,均源于对模块原理与物理意义的模糊认知。本文聚焦真实训练现场中的信号流动、梯度行为与参数演化,帮助工程师跳出调参陷阱,建立从数学定义到工程落地的完整认知链。

weixin_28718345的博客 207

Cocos Creator发布微信小游戏:深度定制与去除默认加载页面的实践指南

本文详细介绍了如何使用Cocos Creator发布微信小游戏时去除默认加载页面的实践方法。通过修改构建配置和重写启动逻辑,开发者可以自定义加载体验,提升品牌一致性。文章还提供了进阶优化方案和常见问题解决方案,帮助开发者实现更专业的微信小游戏发布流程。

weixin_27972919的博客 572

OneNet平台MQTT连接避坑指南:C语言Token计算实战(附完整代码)

本文详细解析了OneNet平台MQTT连接中的Token计算机制,提供了C语言实现的完整代码和实战指南。通过HMAC算法和Base64编码,开发者可以高效生成安全凭证,避免常见连接问题,适用于物联网设备开发。

weixin_29193359的博客 464

神经网络中的基本激活函数,损失函数,优化器

1.sigmoid函数:公式:f(x)=1/(1+2.tanh函数:公式:tanh(x)=2sigmoid(2x)-13.relu函数:公式:f(x)=max(0,x)4.switch函数公式:f(x)=x*sigmoid(x)5.mish函数公式:f(x)=x*tanh(ln(1+))

m0_56325496的博客 68

神经网络基础:前馈网络、激活函数、损失函数与优化器全解析

神经网络是深度学习的核心,其基础组件包括前馈网络、激活函数、损失函数、优化器和正则化。前馈网络定义结构,激活函数引入非线性,损失函数衡量预测差距,优化器更新参数,正则化防止过拟合。理解这些组件的原理和选型逻辑,是构建高效模型的关键。本文以PyTorch为例,详细解析各组件的作用、选型建议及实战技巧,涵盖从数据预处理到模型训练的完整流程,并分享常见问题排查经验,帮助读者扎实掌握神经网络基础。

weixin_28223453的博客 270

实战避坑:泛微E9流程接口与单点登录(SSO)开发全解析(含自定义Action、Restful API与免密登录)

本文深入解析泛微E9流程接口与单点登录(SSO)开发中的关键技术与避坑指南,涵盖自定义Action开发、Restful API鉴权机制及跨系统单点登录实现。通过实战案例与代码示例,帮助开发者高效完成二次开发,解决系统集成中的数据孤岛问题,提升企业信息化建设效率。

weixin_42549451的博客 676

基于DFT的mbist sdc模板(DFT)

摘要:本文详细介绍了DFT测试模式下的SDC约束方法。

murphyrong的博客 926

神经网络底层契约:激活函数、损失函数与优化器的数学本质

神经网络的基础并非公式堆砌,而是各组件背后隐含的数学契约。激活函数定义神经元决策逻辑与梯度传播边界,损失函数构建错误定价体系与任务目标对齐,优化器则确立参数更新的执行章程与稳定性保障。这些契约共同约束信息流的可微性、可训练性与泛化性,决定模型能否在真实数据分布上稳健收敛。理解ReLU为何缓解梯度消失、交叉熵如何天然适配Softmax、Adam怎样融合动量与自适应学习率,本质上是在解读深度学习框架默认封装下的底层协议。本文从FNN前馈链出发,揭示这些契约如何编码于矩阵运算、梯度推导与工程实践之中。

weixin_29054245的博客 96

YOLOv11 改进 - 注意力机制 | GC Block(GlobalContext Block)全局上下文块:三重变换捕获全局依赖,提升复杂场景鲁棒性

本文介绍了全局上下文块(GC Block)及其在YOLOv11中的集成应用。GC Block是GCNet的核心组件,结合了NLNet和SENet的优势,通过上下文建模、特征变换和特征融合三个模块,高效捕获特征图中的全局依赖关系,在提高模型性能的同时降低计算成本。我们将GC Block引入YOLOv11,在检测头部分的不同尺度特征图上应用该模块。实验表明,改进后的YOLOv11在目标检测任务中表现良好,展现了GC Block在实际应用中的价值。

魔改工程师的博客 953

神经网络基础:前馈网络、激活函数、损失函数与优化器详解

深度学习入门需掌握神经网络基础,包括前馈神经网络、激活函数、损失函数和优化器。前馈神经网络通过多层堆叠实现特征变换,激活函数如ReLU注入非线性,损失函数如交叉熵衡量预测差距,优化器如Adam自适应调整学习率。正则化防止过拟合,提升泛化能力。这些组件在图像分类、回归等任务中至关重要。本文深入解析神经网络基础,助你构建扎实的深度学习根基。

weixin_29038303的博客 260

基于Simulink的双PMSM差速驱动转矩同步控制建模示例

本文详细介绍了基于Simulink的双永磁同步电机(PMSM)差速驱动转矩同步控制建模方法。针对AGV/叉车等双电机独立驱动系统的转矩不同步问题,提出主从式+交叉耦合控制策略,在Simulink中实现直线行驶、90°转弯和单轮打滑恢复三种工况的仿真验证。通过动力学建模、参数差异设置、同步误差定义及控制律设计,最终实现同步误差<3%、转弯半径跟踪误差<5%、打滑后100ms内恢复的性能指标。文章特别强调了实际工程中的参数标定、通信同步和故障处理要点,并提供了完整的Simulink建模步骤和工具箱使

xiaoheshang_123的博客 206

Vue - 简约大气 404 页面

效果图 实现代码 复制即可。 <template> <div> <div class="error"> <!-- 图片可保存到本地 --> <img src="https://img-blog.csdnimg.cn/20210715111039922.png"> <p>抱歉!你访问的页面不存在或已删除 :( </p> <span class="back" @click="go(

🏆 前端领域优质创作者 3371

Torch激活函数,优化器,损失函数(二)

pytorch

weixin_50920579的博客 1444

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

神经网络基础全解析:前馈网络、激活函数、损失函数与优化器实战指南

神经网络是深度学习的核心基础,其本质是通过多层非线性变换逼近复杂函数。前馈网络利用隐藏层实现特征抽象,激活函数引入非线性以增强表达能力,损失函数定义优化目标,优化器则通过梯度下降迭代更新参数。理解这些模块的数学原理与工程实现,能帮助开发者诊断模型训练中的常见问题,如梯度消失、过拟合和收敛缓慢。在图像分类、自然语言处理等场景中,合理选择激活函数、损失函数和优化器策略,是提升模型性能的关键。本文深入拆解神经网络核心组件,结合代码与实战经验,助你夯实基础,避开调参陷阱。

weixin_29053073的博客 321

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

python 学会神经网络BP反向传播、损失函数、优化器看这一篇就够了 以及 基于numpy的神经网络框架实现

python BP神经网络原理 以及 基于numpy的python代码实现1. 原理1.1 神经网络结构1.2 输入结构以及数据流转1.3 初始权重及权重更新1.3.1 前向传播1.3.2 反向传播1.3.2.1 链式法则2. 损失函数3. 优化器4. python代码实现 1. 原理 1.1 神经网络结构 1.2 输入结构以及数据流转 1.3 初始权重及权重更新 1.3.1 前向传播 1.3.2 反向传播 1.3.2.1 链式法则 2. 损失函数 3. 优化器 4. python代码实现 ...

Irvinfaith的博客 969

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Keras深度神经网络入门

参考书籍和博客进行的实验总结,如发现错误,请大家斧正,谢谢阅读! 目录 一、初步了解Keras框架 二、上手Keras(这里是以Python版TensorFlow作为后端堆栈的开发深度学习模型) 1、输入数据 2、神经元 3、激活函数 4、模型 5、层 6、损失函数 7、优化器 8、评价指标 9、配置模型 10、训练模型 11、模型评估 一、初步了解Keras框架 1、搭建神经网络 1)明确输入层,隐含层,输出层隐含各自的层数及其神经元数量。 ...

m0_46100359的博客 2502

深度神经网络中损失函数的选择

损失函数是设计神经网络中很重要的一个关键因素,面对特定的问题,我们要设计不同的损失函数,比如我们参数kaggle比赛时,一般赛事举办者都会给出来一个损失函数。损失函数是模型对数据拟合程度的反映,拟合的越差,损失函数的值就应该越大,同时我们还期望,损失函数在比较大时,它对应的梯度也要比较大,这样的话更新变量就可以更新的更快一点。事实上,我们对损失函数的也就两个方面的要求,首先要能反映出你求解问题的真...

liguandong 9628
上一篇: 自动控制原理 - 转折频率与穿越频率
下一篇: 卡尔曼滤波从零到精通
极客 - L U
博客等级 码龄7年 9646粉丝 78原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

极客 - L U

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值