qq_51804522的博客

看transformer代码代码然后看到nn.dropout()一个不一样的应用，这里我就来好好分享一下这个细节：下面代码实现的是上方红框的部分，重点在于平常我们的nn.dropout是在训练的时候增加网络的健壮性，但这里它是用于相加。self.dropout = nn.Dropout(p=0.5),x = x+g(f(x)) g(t)为dropout在这里主要是为了x = x+f(x)中保持f(x)的稀疏性。还有个好处我认为这样可以增强f(x)的泛化性吧。所以这个应该是resnet 残差思想

我认为到自己能完整训练一个自己想训练的模型,就是能够从容自信炼丹总结了一下我经历的时期，第一阶段就是从未实践过深度学习代码，看了很多论文也好，教程也罢，初步了解一门深度学习框架pytorch,tensorflow,paddle(百度AIstudio提供免费V100算力，你值得拥有)，这个时候就挺迷茫的，很忐忑第一次训练模型，这时候建议你调简单的多分类任务进行训练，就是直接用nn.linear这种操作简单的，然后简单的自己单纯试试这个loss经过反向传播的过程不需要做具体任务，进行单元测试，这样对于back.

时隔多日的神经网络总结​ 好久不更新了，最近学习pytorch，然后呢，学了很多神经网络的东西，直接总结，无关乎代码，主要是很多思考。​ 首先为了解决损失函数的问题。要保证损失函数参与到整个神经网络训练，就是保障损失函数是有用的，如果你的损失函数都无法参与到整个网络的计算，那么这个损失函数有啥用，是吧，这个问题我刚开始根本没注意到，就是网络运行但是不更新损失函数。所以第一步是检验损失函数是否有用，就是先给这个网络塞入同一份数据，然后把损失打印，那么如果这个损失函数是有用的，那么这个损失会一

鸢尾花数据集用logistic多分类训练logistic这个多分类就是有几类就搞几个分类器，每个分类器对应一类。每个分类器分成两类是本类和不是本类（1和0）。梯度下降法，logistic损失函数求导就核心两点嘛。不难。代码from sklearn import datasetsfrom sklearn.model_selection import GridSearchCV,train_test_split,cross_val_scoreimport numpyiris = datasets.l

机器学习线性回归笔记，及公式推导