qq_39667545的博客

1. 概述word2vec源于Mikolov于2013年发布的一篇文章，主要包括skip-gram和cbow两个模型。分别为基于中心词预测上下文，和基于上下文预测中心词。接下来将从训练过程来比较skip-gram和cbow的区别。并于最后介绍word2vec经典的两个训练技巧。2. 训练过程1.skip-gram skip-gram的中心思想是根据中心词来预测上下文信息。假设滑动窗口大小为k,则对于每个中心词center，模型会训练（k-1）轮，来预测k-1个不...

前沿：LSTM和GRU是为了解决RNN的梯度消失问题提出来的，因此在介绍LSTM和GRU之前有必要先把RNN及其梯度消失问题先介绍一下。1. RNNRNN全名循环神经网络（Recurrent Neutral Network），其结构如下：其中每个时间步上的U、Ws、V都是共享的，因此对每个时间步的计算公式如下：其中f表示激活函数，常用sigmoid或者tanh，g一般表示softmax函数...

1.定义 最早见于Hinton的文章（Distilling the Knowledge in a Neural Networ），主要思想是：先训练一个复杂的模型，然后使用这个复杂模型的输出和数据的真实标签去训练一个需要的小模型。其中复杂模型为Teacher模型，小模型为Student模型。2.分类 主要分为基于Logits的知识蒸馏和基于特征的知识蒸馏2.1基于logits的知识蒸馏 将teacher model输出的logits...

1. 梯度下降(gradient descent)：三种梯度下降方式： 全量梯度下降；SGD；mini-batch 梯度下降mini-batch的缺点： 1. 对步长比较敏感 2.不同参数使用相同的步长 3.可能无法跳出鞍点2. momentum：针对SGD在局部最优点处的震荡问题，增加上一时刻的梯度信息，当两个梯度同向，则增强梯度下降，否则，降低梯度下降。3. NAG在momentum的基础上...

原文链接：https://www.cnblogs.com/skyfsm/p/8467613.html前提：混淆矩阵 其中T代表预测正确与否，P代表预测的类别是positive(正例)还是negtive(负例)。因此有：TP+FP+FN+TN = 总样本数。注： TP： 预测为正例且预测正确的样本数1. accuracyacc = 预测正确的样本数 / 总样本数 = （TP + TN）/ （T...

一、分类问题1.0-1损失函数特点：作为一种标准，但是相对太苛刻了，因此感知机使用的是一种软约束后的0-1损失函数2. hinge loss： 主要用于SVM中特点： 1. 主要用于svm中，如果样本分类正确，则损失为0，否则为1-y*f(x)，其中f(x)的取值在（-1， 1）之间，而y的取值为-1或1。并不鼓励模型对某些样本过度自信，因此式模型更专注于整体的误差。 2.健壮性较强，对...

1.sigmoid函数图像：上图分别为其函数图像和导函数图像.优点： 1. 函数平滑，易于求导 缺点： 1. 梯度值均小于1，容易梯度消失 2.使用指数运算，计算耗时 3.输出数据不是0均值的，收敛缓慢（模型的梯度值恒为正或者恒为负，导致会呈现Z字形的收缩方式） 收敛缓慢的图...

一、DNN：梯度消失于梯度爆炸 1. 结论：梯度消失（爆炸），是由于网络层数过深，导致多个小于（大于）1的梯度值连乘，网络在bp回到接近输入层时，其梯度接近0（无穷大）造成的参数不更新（更新太大）。2.公式推导（反向传播） 以下图神经网路为例： 对于每一层的o1有来年两种表示，其中NETo1经过线性变换后的值，OUTo1表示NETo1经过激活函数后的值。此处我们直接直接sigmoid激活函数，其它的激活函数类似。...