
NLP
文章平均质量分 66
该专栏的内容:
1. 记录学习NLP笔记
2. 记录遇到的BUG与解决方法
Hushi1706IT
在线学生
展开
-
深度学习笔记(梯度下降、反向传播、了解激活函数、了解参数初始化)
由于大多数情况样本点会很多,使用GD的话会导致内存开销问题且收敛速度很慢,因此可是使用少部分的样本点来更新参数,每次通过随机取不同的样本点的方法称为随机梯度下降算法。接下来是一步步优化参数,先给b任意取一个值,然后计算该点的梯度dL/db,再乘以学习率,最后更新b参数。为了快速找到收敛方向,细致优化防止震荡,需要在开始的时候学习率大,后面学习率小。AdaGrad算法:引入一个新的量r,梯度波动很大的时候学习率就会快速下降。在一般情况下,函数会是非线性且有很多样本点,如下图所示,参数为θ。原创 2023-03-20 19:22:24 · 327 阅读 · 0 评论 -
Pytorch基本语法
学习内容参考bilibili视频:https://www.bilibili.com/video/BV17y4y1m737?原创 2023-03-19 16:25:15 · 455 阅读 · 0 评论