- 博客(12)
- 收藏
- 关注
原创 白话 迁移学习解冻策略
而如果你先冻住训练了分类层,那这参数就好多了,这个分类层的参数适应了整个模型的参数,比直接随机给的参数强太多了。• 只解冻最后几层是因为靠后的卷积层更贴近任务特征(比如“开心的嘴角”或“皱眉”),前面的卷积层提取的仍是通用边缘等基础特征,一般不动。冻结训练只能调整新加的全连接层,而预训练主干模型没有真正“适配”你的目标任务(这里是面部表情识别),所以还不够好。我们实验用的模型是在超大数据集上训练好的模型,它已经“学会”了很多通用的视觉特征,比如边缘、纹理、形状等。,它的输出非常不稳定。
2025-03-29 14:32:17
584
原创 白话 复变函数(3)
大部分与实数的类似,证明就不写了一个复数数列,其中 ,如果它的部分和数列收敛于某个极限 ,即:,那么我们说这个级数收敛,和为 S,或它有和 S。如果这个极限不存在,我们说这个复数级数是发散的(divergent)。一个复数级数 ,如果它对应的实数级数是收敛的,我们称原来的复数级数是绝对收敛的(absolutely convergent)。设是复数级数,其中 。(i) 如果实数级数 是绝对收敛的,并且对于充分大的 n,有,那么 也是绝对收敛的。(ii) 如果实数级数 是发散的,并且对于充分大的 ,有,那么
2025-03-27 15:01:31
1162
原创 白话 复变函数(2)
如果存在一个复数,使得:,那么函数在点处是可 导的,且。锐评:这个定理给出了复函数可导的判别准则,是复分析中的“线性逼近判别法”。换句话说, 如果你能找到一个复数,使得函数在点附近的增长趋势可以用精确近似(误差是高阶无穷小),那这个函数就在可导,导数就是这个。
2025-03-25 15:39:53
1205
原创 时间序列无痛入门(三)
你可以理解为它记录了不同滞后阶数之间的相关性关系。的相关性,包括了中间所有滞后项的间接影响。:说明它们往往相反方向变化(负相关)。:说明它们彼此独立(或者线性无关)。相关性,把中间那些滞后(比如。倾向于同方向变化(正相关)。这是我们已知的前 k 阶的。,若满足以下条件,则称其为。用来衡量两个时间点之间的。它是协方差的标准化版本。,所以可以把分母变成。(也就是我们关心的)
2025-03-24 21:19:04
674
原创 极简理解性学习 深度学习 梯度消失 梯度爆炸
处理某个特定任务时,我们训练模型最终目的就是想找到一组最好的参数w,在这组参数下模型的表现效果最好,当输入换成不同的数据时也会有好的表现效果。为0或者非常大的时候,参数就无法更新(梯度消失)或者更新为负无穷(梯度爆炸),这就骂法了,下面解释一下为什么会出现这种现象。是激活函数(Relu,Softmax等),作用是控制函数值不会太大,将其限制在一定的范围内。(注意:有人说多小才算小,多大算大,多次是多少次,这个不是绝对的,比如。限制梯度的最大范数或绝对值,防止梯度过大。为0,从而造成梯度消失,梯度爆炸就是。
2025-03-23 14:20:05
1869
原创 极简理解性学习深度学习正则化
训练过程就是不断调整参数的过程,只要不让参数继续过分地向过拟合的方向发展,所以一个比较粗糙的办法是可以提前终止训练过程,另一个比较精致的办法就是用正则化函数抑制损失函数(Loss)的增长,也就是所谓的正则化办法。尽可能的小,加上一个惩罚项就可以抑制其增长,因为更新参数后(参数w会增大)的loss的减少值如果比不上惩罚项的增加值,那这个更新后的总体。就可能为0,所以说 L1正则化很容易产生很多稀疏解(即很多参数为0),从而实现特征选择的作用,删除不重要的特征。梯度,对应的公式为:。
2025-03-22 20:26:24
599
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅