
数学
文章平均质量分 83
深度学习-公式推导
JasmineFeng
这个作者很懒,什么都没留下…
展开
-
使得二次型的值为特征值的向量一定是特征向量吗
文章目录1、问题描述2、结论预告3、证明3.1、引理13.2、引理23.3、正式证明1、问题描述设AAA是nnn阶实对称矩阵(n⩾2n\geqslant2n⩾2),每个特征值都是相异的(特征方程无重根),λ\lambdaλ是其中一个特征值,对关于x\boldsymbol{x}x的方程xTAx=λsubject to xTx=1\boldsymbol{x}^TA\boldsymbol{x}=\lambda\quad \text{subject to}\ \boldsymbol{x}^T原创 2021-10-03 10:58:46 · 420 阅读 · 0 评论 -
Chap 7深度学习中的正则化——L1正则化公式推导
对(7.22)到(7.23)进行一个推导(不保证严谨性)已知:Hi,i>0,α>0,wi在wi∗某邻域U(wi,δ)内,δ充分小使得sign(wi)=sign(wi∗)H_{i,i}>0,\alpha>0,w_i在w_i^*某邻域U(w_i,\delta)内,\delta充分小使得\mathrm{sign}(w_i)=\mathrm{sign}(w_i^*)Hi,i>0,α>0,wi在wi∗某邻域U(wi,δ)内,δ充分小使得sign(wi)=sign(wi原创 2020-12-25 15:41:37 · 886 阅读 · 0 评论 -
张量梯度求导公式总结
结论1. 若C=ABC=ABC=AB, 则∂C∂A=BT,∂C∂B=AT \frac{\partial C}{\partial A}=B^T, \frac{\partial C}{\partial B}=A^T ∂A∂C=BT,∂B∂C=AT结论2. 若L=ABCDEFL=ABCDEFL=ABCDEF, 则∂L∂A=(BCDEF)T,∂L∂B=AT(CDEF)T \frac{\partial L}{\partial A}=(BCDEF)^T, \frac{\partial L}{\par原创 2020-11-19 19:10:03 · 2599 阅读 · 0 评论 -
Batch Norm层反向传播梯度推导(手写) 结合计算图
原创 2020-11-08 11:52:21 · 761 阅读 · 0 评论