m0_52695557的博客

这两天看了一下《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文，感兴趣的同学可以去看看我上一个博客，然后根据论文还有问gpt写了一下相关代码，如果有问题欢迎指正。

用ASCII表作为词典，长度为128，每一个值对应一个独热向量，比如77对应128维向量中第77个位置为1其他位置为0，但是对于embed层只要告诉它哪个是1就行，这些序列长短不一，需要padding到统一长度。它会将填充后的嵌入和实际序列长度作为输入，并返回一个打包后的序列，便于 RNN 处理。，判断句子是哪类（0-negative，1-somewhat negative，2-neutral，3-somewhat positive，4-positive）情感分析。在准确率最高点save模型。

嵌入层的主要作用是将离散的词汇映射到连续的向量空间中，从而为RNN提供密集的、低维的输入表示，这比直接使用稀疏的one-hot编码更为高效。，但是这个线性层是共享的，如下图，每次把hi和xi+1计算得到的hi+1传送到下一层进行计算，同时xi+1还需要通过某种运算融合xi的信息（比如求和、求乘积等）h0是先验知识，比如对于图像生成文本，可以先通过cnn+fc生成h0，也可以把h0设成和h1等统一维度的向量，值都设成0。多头注意力机制是自注意力的扩展，它通过多个注意力头（head）来捕获不同的特征子空间。

而中间先经过一个1 * 1的卷积再经过一个5 * 5的卷积得到 32 * 28 * 28的输出运算为：1^2 * 28^2 * 192 * 16 + 5^2 + 28^2 * 16 * 32 = 12433648。跳连接：将H(x)的输入再加一个x，求导的时候x`=1，那么就算梯度很小也是将近于1，多个这样的数相乘梯度还是不为0，能解决梯度消失的情况，其中F(x)和x应该尺寸相同。3.复现经典工作：先读代码，训练架构，测试架构，数据读取架构，损失函数怎么构建的，根据论文讲的东西自己去写。

(batch, 1, 28, 28) ->卷积(1, 10, 5)->(10, 24, 24) ->下采样2->(10, 12, 12)->卷积(10, 20, 5)->(20, 8, 8)->下采样2->(20, 4, 4)->卷积(20, 10, 5, padding=2) ->(10, 4 ,4)->下采样(10,2,2)摊平view(batch_size, -1)->l1(40, 32)->l2(32, 16)->l3(16, 10)卷积层用三个，relu三个，池化三个，线性层三个，对比性能。

比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)知识点：SoftMax激活函数，多分类交叉熵CrossEntropyLoss，图像transform预处理，训练测试单独封装，Y是经过独热编码后的值，只有一个概率最大的为1，计算损失只要计算Y为1的Y_hat的损失。

在深度学习时用min-batch来平衡训练时间和性能上的需求，之后训练周期要写成两层嵌套循环。epoch：所有训练样本进行完一次前向和反向传播，batch-size：训练的时候的样本数量，Iteration：总训练数据/训练样本数集成了dataset之后编写的类就可以用dataset的功能了训练的代码要用main包装起来解释：数据集，批数据大小，是否打乱，构成batch读取数据的时候是不是要用多线程，几个并行的线程1、需要mini_batch 就需要import DataSet和DataLoader。

​ 3、该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。可以自己随意在Model类中改torch.nn.Linear的变换，尝试后发现激活函数改成ReLU比sigmod最后得到的精确率高一些。说明：1、乘的权重(w)都一样，加的偏置(b)也一样。神经网络的参数w和b是网络需要学习的，其他是已知的。​ 4、本算法中torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用。

sigmod的函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的激活函数，将变量映射到0,1之间。-------------摘自《百度百科》sigmod函数也叫作Logistic函数，用于隐层神经单元输出，取值范围为（0,1），它可以将一个实数映射到（0,1）的区间，可以用来做二分类。在特征相差比较复杂或者相差不是特别大的时候效果比较好。说明：1、 逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面，添加了激活函数(非线性变换)

self.linear(x)也由于魔法函数call的实现将会调用torch.nn.Linear类中的forward，至此完成封装，也就是说forward最终是在torch.nn.Linear类中实现的，具体怎么实现，可以不用关心，大概就是y= wx + b。8、torch.nn.MSELoss也跟torch.nn.Module有关，参与计算图的构建，torch.optim.SGD与torch.nn.Module无关，不参与构建计算图。因此新写的类中需要重写forward()覆盖掉父类中的forward()

3、本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。本算法中梯度总共更新100(epoch)x3 = 300次。梯度下降法中梯度总共更新100(epoch)次。1、损失函数由cost()更改为loss()。cost是计算所有训练数据的损失，loss是计算一个训练数据的损失。2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。随机梯度下降法在神经网络中被证明是有效的。学习三步骤：1准备数据集2.选择/设计模型3.训练4.应用层：推理。

确定全都没有后，查看原来base环境下的matplotlib版本，numpy等等按相同版本安装最后才正常运行。首先因为自己的电脑用的anaconda是py3.10，所以创建虚拟环境的时候也要输入。输入"conda activate 环境名" 可以进入新环境，在。以上是我执行过程，建议全用conda install 好一些。这行代码总出错，先把原来的都卸载掉，通过。

将上述四个压缩包放入dataset文件夹中，注意dataset文件夹应在以下目录中。

【深度学习原理与Pytorch实战笔记-第三章 单车预测器——你的第一个神经网络】

【深度学习原理与Pytorch实战笔记-第二章 PyTorch简介】

【深度学习原理与Pytorch实战笔记-第一章深度学习简介】

Pytorch创建与安装（无GPU）中遇到的问题与解决方案