- 博客(7)
- 收藏
- 关注
RSS订阅原创 动手学深度学习-李沐（8）
一、dropout丢弃法 1、动机 一个好的模型需要对输入数据的扰动鲁棒 丢弃法：在层之间加入噪音——正则 2、方法 给定一个概率，一定概率变成0，一定概率使得元素变大 期望不发生变化 3、使用 4、总结 丢弃法将一些输出项随机置0来控制模型复杂度 常作用在多层感知机的隐藏层输出上 丢弃概率来控制模型复杂度的超参数 ...
2021-12-09 20:50:24
483
原创 动手学深度学习-李沐（7）
一、权重衰退 常用的处理过拟合的方法 1、使用均方范数作为硬性限制 通过限制参数值的选择范围来控制模型容量 限制w的数值 2、使用均方范数作为柔性限制（常用） 补：正则项就是防止损失函数最优导致过拟合，把损失函数的最优点往外拉一拉 3、总结 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度 正则权重是控制模型负责度的超参数 ...
2021-12-07 21:13:24
2265
原创 动手学机器学习-李沐（6）
一、感知机 输入x(向量)，权重w(向量),偏移b(标量) （感知机的实质是一个二分类的问题，0或1） 2、训练感知机 3、收敛定理 4、感知机存在的问题 （1）不能拟合xor问题，只能产生线性的分割面 二、多层感知机 1、学习xor 两个分类器的组合 2、sigmoid激活函数 将输入投影到（0，1）的空间中去 3、Tanh激活函数 将输入投影到（-1， 1） 4、ReLU激活函数 5...
2021-12-06 20:39:16
549
原创 动手学机器学习-李沐（4）
1、线性回归 2、线性模型 输入：给定n维输入，乘以n维权重和一个标量偏差 输出：加权和 3、开始神经网络 4、补充：平方损失： 5、总结： 显示解：显示解就是可以用数学方法算出来的表达式解 6、对没有显示解的时候就要运用梯度下降的算法 不断更新W0使其更对的接近最优解 右上为二次函数等高图（每个圈是函数值等于固定值的曲线） 补：一个数的正梯度是其上升最快的方向，反之负梯度是其下降最快的方向 7...
2021-12-01 19:13:30
368
原创 动手学深度学习-李沐（3）
1、标量的导数 2、对于不可导的情况，例如：y=|x| 3、将导数拓展到向量 标量求导是标量 向量求导是向量 4、补：上面是向量下面是标量，维度不变 上面是标量下面是向量，维度变化 （标量是一个值，向量是一串值） 5、标量、向量求导问题 ...
2021-11-30 10:47:04
164
原创 动手学深度学习-李沐（2）
1、范数的概念 2、对称与反对称 Aij = Aji(对称) Aij = -Aji(反对称) 3、正定 4、正交矩阵 5、特征向量 不被矩阵改变方向的向量 6、标量 标量由只有一个元素的张量表示 x = torch.tensor([3.0]) 7、向量 向量由标量值组成的列表 x = torch.arange(4) ...
2021-11-29 22:11:33
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人