qq_36849855的博客

目录8.3 自动并行计算8.4 多GPU计算8.3 自动并行计算Pytorch能有效的实现在不同设备上自动并行计算。8.4 多GPU计算单主机多GPU计算，不是分布式计算，如何使用多块GPU训练同一个模型，当一个主板上有多块GPU时，可以这样做。定义模型，这里是直接将模型放在了GPU上输出要使用多GPU运算，进行如下操作这时候网络模型变成了如下图，可见它多了一层。而且这时默认的所有存在的GPU都会使用。想要设定使用那一块时，利用参数设置多GPU模型的保存和加载按照原来单GP

目录7.1 优化与深度学习7.2 梯度下降和随机梯度下降7.3 小批量随机梯度下降7.4 动量法7.5 AdaGrad算法7.6 RMSProp算法7.7 AdaDelta算法7.8 Adam算法7.1 优化与深度学习优化算法的目标函数是基于训练集的的损失函数，也就是使得训练误差最小化的问题。通过多次迭代求数值解。深度学习最终迭代出来的数值解可能是局部最小化点而不是全局最小点。解有可能出现在鞍点附近，在某个维度上是最小值，在另一个维度上是最大值。由于深度学习参数通常都是高维的，所以出现鞍点比局

目录5.1 二维卷积层5.2 填充和步幅5.3 多输入通道和多输出通道5.4 池化层5.5 卷积神经网络LeNet5.6 深度卷积神经网络AlexNet5.7 使用重复元素的网络VGG5.8 网络中的网络NiN5.9 含并行连结的网络GoogLeNet5.10批量归一化BN层5.11 残差网络ResNet5.12 稠密连接网络DenseNet5.1 二维卷积层卷积层实际是使用的是互相关运算，互相关运算和卷积运算是不同的，使用互相关运算和使用卷积运算学习到的卷积核是不同的，是两者之间上下左右翻转的。自己

目录小tips4.1 模型构造4.2 模型参数的访问 初始化和共享4.3 模型参数的延后初始化4.4 自定义层4.5 读取和存储4.6 GPU计算小tipsenumerate()函数，迭代器函数，生成由每个元素索引值和元素组成的元组。列表操作，append函数，在列表末尾添加新的对象，extend函数，用于在列表末尾一次性追加另一个序列中的多个值。列表索引[-1]明确比如一个列表或者字符串长度是51，正向索引索引范围就是0到50，负值索引，索引范围就是-51到-1，-1表示最后一个值，取最后

目录3.7 softmax回归的简洁实现3.8 多层感知机MLP3.9 多层感知机的从零开始实现3.10 多层感知机的简洁实现3.11 模型选择 欠拟合 过拟合3.12 权重衰减3.13 丢弃法3.14 正向传播 反向传播和计算图3.15 数值稳定性和模型初始化3.16 实战kaggle比赛，房价预测3.7 softmax回归的简洁实现默认的内置类型字典中的元素时无序的，这个ordereddict类实现了对字典的排序，当调用这个类生成类对象时，生成的字典就是有顺序的，代码里就是生成了有序字典，使

3.1-3.6 小节解析解：损失函数形式较为简单，误差最小化的问题可以直接用公式表达出来。数值解（多数情况）：没有解析解，只能通过优化算法有限次迭代模型来尽可能降低损失函数的值。小批量随机梯度下降（最常用）：先随机选取一组模型的初始值，然后对参数进行多次迭代，每次迭代都有可能降低损失函数的值。具体过程是：随机采样一个固定数目的小批量，然后求小批量中数据样本的平均损失有关模型参数的导数，就是梯度，最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。超参数：批量大小和学习率，不是训练

函数参数前*表示参数为元组，表示接收若干个参数，转换成元组。**表示参数为字典，表示接收若干个参数，转换为字典。就是函数中*args和**kwargs，接收若干个参数。直接在列表 元组 字典变量名前面加*，表示会将其拆分为一个个的独立元素。张量索引值第一位是0，数据结构位序第一位是1view()函数改变张量的形状item()函数将一个标量的张量转换成一个数支持常用线性函数！在GPU上进行张量运算，先判断是否可用，然后选择GPU,然后直接在GPU上创建张量。张量的.grad_fn属