qq_43649786的博客

在上一章已经完成了卷积神经网络的结构分析，并通过各个模块理解在pytorch框架下卷积神经网络各个模块的底层运行原理和数据传输细节在本章中将通过pytorch模块复现经典深度学习模型GoogleNet，并使用minist数据集实现手写数字的识别。

在进行本章的数学推导前，有必要先粗浅的介绍一下，笔者在广泛查找后发现当前并没有官方定义什么是softmax分类器：softmax分类器在本质上也是激活函数的一种，可以看作激活函数sigmoid的拓展版，目标是将输出的多个数值转换为多个分类结果的概率。

在本节中没有关于数学原理的相关介绍，使用的数据集和类型仍然是（6、10）的相关内容。在这里主要是介绍dataset ，dataloader两个类以及mini-batch方法梯度下降方法：1.全部数据都使用，batch，最大化使用向量计算优势，提升计算速度2.随机梯度下降，只用一个样本，会得到较好的随机性，克服鞍点的问题。Mini-batch ：将1，2进行结合，进行两层循环嵌套，在每个epoch中执行一次mini-batch。

在之前实现的模型普遍都是单输入单输出模型，显然，在现实场景中更多的是多输入多输入模型。在本文中将主要推导，多输入模型中的内部数据传输变化，以及内部矩阵运算过程使用Mini-batch 模块，多个维度线性层共同使用一组权重w的线性组合，共享权重可以极大减小运算量。转化为矩阵运算的意义是希望通过转化为矩阵实现并行运算，进行gpu的挂载在本次的实践数据中使用的是糖尿病病人的数据集，通过维度为8的输入数据，即利用8种病人自身的评价指标的数据，对该样本病人是否患有糖尿病进行判断。

在定义上Logistic函数或Logistic曲线是一种常见的S形函数，它是皮埃尔·弗朗索瓦·韦吕勒在1844或1845年在研究它与人口增长的关系时命名的。广义Logistic曲线可以模仿一些情况人口增长（P）的S形曲线。起初阶段大致是指数增长；然后随着开始变得饱和，增加变慢；最后，达到成熟时增加停止。

至此开始，深度学习模型构建的预备知识已经完全准备完毕。从本章开始就开始按照实际研究与开发中的流程进行深度学习模型的构建。完成了数据的设置后，需要求解出权重w的关于损失函数loss的梯度解析式大型项目通常使用pytorch封装好的模块，在计算过程中将自动生成运算图。下图是一个最简单仿射模型，是一个基础线性单元：其数学表达式为预测值y_hat = 权重w* 输入数据 x +偏置量b当输出和输出维度不同时，例如下图输入x是41的向量，而输出是3。

BP神经网络可以说机器学习的最基础网络。对于普通的简单的神经网络层，我们还能通过推导计算得到梯度表达式，但是当网络结构如下图所示此时梯度grad就变成了非常庞大的计算量，对于复杂的多层级网络，权重w个数多，。面对这种情况我们引入数据结构中的图的概念，通过形成在图上，对各个节点的梯度进行求解。需要注意的是，基础线性单元（一层）的构成，应该以矩阵思维看待，w权重矩阵+b偏置量，将参数和输入输出都视为向量或者矩阵。Matrix cookbook 是主要矩阵运算的参考资料，可以去查阅。由于各个层都是。

在第一节中我们定义并构建了线性模型，即最简单的深度学习模型，但是深度学习通常是由四个环节构成，准备数据，构建模型，定义损失与优化函数，循环迭代训练。其中非常重要的就是让模型在每次的循环中，并将模型逐渐优化为理想中的高准确率模型。即我们要找到一种方法，使得模型的参数w不停逼近理想化的值w0，使得整体模型的训练损失loss最小，在（1/10）中可以具体体现为让权重参数w对应模型的loss停留在，使得训练结束后w尽可能靠近w=2.0。

线性模型是我们在初级数学问题中所遇到的最普遍也是最多的一类问题在线性模型中自变量和因变量呈线性关系，问题往往会给与单个或者多个自变量，给出部分因变量要求推导得到模型的数学表达式，或者根据已知自变量预测因变量，而后者也成为线性回归，linear regression，在后期也会着重讲到。可以从刘二老师的ppt中进行更为图像化的理解我们也都知道，线性模型的普遍表达式为在深度学习中，将w称之为权重，b称之为偏移，在此构建模型，需要重点提醒的是，在这里要把x和w都视为，将该公式每次运行都视为一次。

机器学习-python篇学习笔记（3）条件判断if语句if语句的使用于C语言的if语句使用并无太大差别if conditions: expressions但是python为高于c的高级语言，因此在输入时更加自由x = 1y = 2z = 3if x < y < z: print("x is less than y,and y is less than z")...

机器学习-python篇学习笔记（3）循环结构python中的循环结构主要分while和for两种，与C语言相似但是在具体细节上也有不同之处while循环结构python中的while循环结构与C语言的while语句相似，在这里不详细叙述，只讲两种不同语言while语句的不同点，如有想了解C语言while语句具体内容请点击链接C语言学习笔记while循环结构在python中同样需要事先申...

机器学习-python篇学习笔记（1）

机器学习-python篇学习笔记（5）函数在python中用def来定义函数定义格式为：

机器学习-python篇学习笔记（2）python可以进行一些基础的运算而不使用任何函数普通的加减乘除&gt;&gt;&gt; 1+23乘方**后的为幂&gt;&gt;&gt; 3**29取余数%为前者除以后者的余数&gt;&gt;&gt; 9%41...