学习笔记

因为题目都是辛辛苦苦查的，记录一下，以后忘记就不好了。

正则化主要解决模型过拟合问题，主要是通过减小w的值，即模型的权重来缓解过拟合的。可以看这么一张图，需要一条曲线去拟合图上x的点。可以看到粉色的线将噪声点都考虑进去了，属于过拟合。绿色的线能够比较好的拟合点，是我们期望的模型。蓝色的线是一条直线，没学到什么大小，属于欠拟合我们使用手写数据集的数据：链接：https://pan.baidu.com/s/1nxISO_v-MhEyqin7qYqWZw?pwd=1111提取码：1111。

因为要课上讲这东西，因此总结总结，发个博客模型图假设我们有这么一个神经网络，由输入层、一层隐藏层、输出层构成。（这里为了方便，不考虑偏置bias）输入特征为xn输入层与隐藏层连接的权重为vij隐藏层的输出（经过激活函数）为ym隐藏层与输出层连接的权重为wjk输出层的预测值（经过激活函数）为ol隐藏层和输出层后面都接sigmoid激活函数。感觉从推导到代码实现也是一个反复的过程，从推导发现代码写错了，写不出代码了就要去看看推导的过程，这个过程让我对反向传播有了较全面的理解。

batch norm适用于CV，因为计算机视觉喂入的数据都是像素点，可以说数据点与点之间是可以比较的，所以使用batch norm可以有比较好的效果，而NLP里，每个词的词向量是一组向量表示一个词，一个词向量割裂开来看是没有意义的，因此不同词向量里的数据点是不能混为一谈的，所以batch norm之后可能会使得词损失语义，效果就可能不好了，但是使用layer norm只是让各个词向量进行标准化，就能够有比较理想的效果了。

神经网络的学习的目的是找到使损失函数的值尽可能小的参数。这是寻找最优参数的问题，解决这个问题的过程称为最优化（optimization）。遗憾的是，神经网络的最优化问题非常难。这是因为参数空间非常复杂，无法轻易找到最优解（无法使用那种通过解数学式一下子就求得最小值的方法）。而且，在深度神经网络中，参数的数量非常庞大，导致最优化问题更加复杂。优化器的角色就是用来更新模型参数的方法，例如SGD、Adam等都能充当优化器的角色。首先我们先看这么一个函数：假设我们需要求解这个函数的最小值。

因为这学期上了一门深度学习的课，老师上课推公式，写密密麻麻一黑板，看也看不清，讲完擦了之后说这推导如果考试必考，人都傻了，只能回过头来看她课件理解理解了。以下都是以计算图为例。

因为我用这个比赛来抵专业实践，现在成绩出来了，就发一发吧。近年来，图计算尤其是图神经网络等技术获得了快速的发展以及广泛的应用。在电商平台上的风险商品检测场景中，黑灰产和风控系统之间存在着激烈的对抗，黑灰产为了躲避平台管控，会蓄意掩饰风险信息，通过引入场景中存在的图数据，可以缓解因黑灰产对抗带来的检测效果下降。在实际应用中，图算法的效果往往和图结构的质量紧密相关，由于风险商品检测场景中对抗的存在，恶意用户会通过伪造设备、伪造地址等方式，伪造较为“干净”的关联关系。

假设在反向传播的过程中，有一个很大的梯度传过ReLU神经元，这会引起权重w和偏置b发生变化，使得大部分输入在经过ReLU函数时只能得到一个0，因此 大多数输入不能反向传播通过ReLU得到一个梯度，相当于这个神经元死掉了，因此此现象被称为dying ReLU。简单的理解梯度弥散，就是由于激活函数的“饱和”，当激活函数的导数落入饱和区，梯度会变得非常小。在神经网络发展的历史上，sigmoid函数很早就开始被使用了，而通常使用的激活函数还包括ReLU函数、Leaky ReLU函数、Tanh函数等函数。