weixin_45692459的博客

线性函数与多层神经元串联的神经元似乎只有传递作用，那么多根和一根似乎没有什么区别，所以需要激活函数。激活函数和非线性因素如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合并不能解决更为复杂的问题。引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经网络可以逼近任何非线性函数，这样使得神经网络应用到更多非线性模型中。常见的且简单的激活函数：激活函数位置：激活函数放在每一个神经元后，利用激活函数得到的值进入下一个神经元的入口。

将无标签数据读入no_label_dataset，通过模型得到预测值pred（两个值：一个置信度，一个标签），将pred加入一个新的数据集semi-dataset。半监督学习(semi)：无标签的图通过模型预测一个值，超过一定置信度，打上一个新的标签，然后用做训练。不是每一轮都进行semi_loader，至少3轮（epoch % 3 == 0）以上。模型准确率至少要达到（plt_val_acc >= 0.6）半监督学习：有的有y，有的无y。监督学习： 有x，有y。无监督学习：有x，无y。

四：Self-attention，每一个字加上位置都embedding，相加为token。之后，通过Q,K,V来交互，Q是Query，k是key，V是value。Q和K算出注意力，V按照注意力相加为输出。五：Bert，是一个编码器，目的是是把一句话编码为特征。六：Bert的结构，三部分：1、embeddin层；三：上面的模型，不能并行，速度慢，只能单向（也有双向模型）。RNN和LSTM太慢了：只能一代接一代，没办法看完整篇文章，输出结果。（2）长短期记忆（LSTM）：1.输入门。一、每个词都有输出一个值。

KNN的工作原理如下：1、距离度量：KNN使用距离度量（通常是欧氏距离）来测量数据点之间的相似性。2、确定邻居数量K。w*，b*=arg min（w，b）L 学习率lr（learnin rate）：超参数，认为规定。线性模型（Linear model）：y（label标签）=w（weight权重）x（feature数据）+b（bias偏差）2、分类任务：（选择题）图片：猫/狗。深度学习：不可解释性（设计一个很深的网络架构让机器自己学习，就是找一个函数f），（黑匣子）