yongxian_zhao的博客

Table of Contents 1. 线性函数 2. 激活函数 3. softmax 函数 4. 损失函数 1.线性函数 Y = wx + b 2. 激活函数 ...

目录 1 .什么是指数加权平均？ 2 . 为什么在优化算法中使用指数加权平均？ 3 .β 如何选择？ 1 .什么是指数加权平均？ 指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。 它的计算公式如下： 其中， θ_t：为第 t 天的实际观察值， V_t: 是要代替θ_t的估计...

目录 1 .Drop out 2 . L1 -正则化 3 . L2- 正则化 4 . Max Norm 1 .Drop out 2 . L1 -正则化 可能会产生稀疏的参数，很多w的值为0. 3 . L2- 正则化 主要有一个超参数，如果值很大，也就意味着W 权重越小，越接近于0（一个直观的解释，也可以证明）。如果有些权重接近...