Rachale_的博客

李宏毅深度学习–卷积神经网络 1. convolution stride表示步长，也就是每次挪动的距离，stride=1表示每次移动一格，每行移动到末端就往下移动一格继续从左开始往右挪动。每次计算image矩阵中得到的红框矩阵与filter 1的内积，最终可以得到下图右下角的4*4矩阵。这个矩阵叫feature map。 可以坚持某种模式是否存在 有没有连续的1连续出现，观察上述得到的4*4的矩阵，就可以发现（1,1）与（4,1）处等于3，因此说明原矩阵中左上角和左下角的两个地方有连续的1出现，如下图

李宏毅深度学习-网络设计的技巧 本篇文章主要基于以下资料： 开源文档：课程开源文档 视频地址：B站开源视频 一、当optimization失败怎么办 在用梯度下降法优化参数时，当除最优值之外的某个点的梯度接近于0，得到的估计参数误差会比较大。这个点可能是local minima，也有可能是saddle point，其中saddle point是有方向改进的，因此我们需要区分是哪一种情形。 判断是local minimum 还是saddle point 结合泰勒展开式，当梯度趋近于0时，绿框里的值就等于

本篇文章主要基于以下资料： 开源文档：https://datawhalechina.github.io/leeml-notes 视频地址：https://www.bilibili.com/video/BV1Ht411g7Ef **1. 深度学习的发展历程** - 1958：perceptron 感知机（linear model） 有人实现了分辨卡车还是坦克，但实际是因为卡车和坦克在不同日子拍摄，感知机根据亮度来判断，并不是根据卡车和坦克的特征来区分。 - 1980 multi-layer perce..