qq_45981086的博客

全连接神经网络：完全由线性层串行连接起来的网络。在全连接神经网络中，我们会把图像像素映射为一个较长的张量，这样会丧失图像像素之间原始的空间结构。会保留图像像素之间原始的空间结构的神经网络。convolution卷积：会保留图像像素之间原始的空间结构。subsampling下采样：缩小图像，提取特征值。卷积神经网络分为特征提取和分类两部分。Input Channel输入通道数、Output Channel输出通道数、卷积核的大小（长和宽）2.单通道卷积可以把卷积核以及。

之前，在中我们提到了二分类任务，现在我们讨论多分类问题。

处理数据集两种方法：1.数据集不够大，直接读进内存。2.数据集所占空间比较大，像图片、语音的数据集，将文件名读进内存，根据文件名加载问价。只要数据集能支持索引和提供数据集长度，DataLoader就能对数据集生产batch。名词解释：Epoch，Batch，Batch-Size，Iterations。Batch-Size（批量大小）：batch进行一次前向和反向传播的样本数量。shuffle：是否打乱数据集顺序，打乱数据集有利于模型克服“鞍点问题”batch_size：一次batch所需的样本数量。

一个八维数据集：数据集，每一行称为一个样本，每一列称为一个特征。回归模型的更改：n维的输入向量x和n维的权重w的转置作内积 + 广播处理的偏移量b，得到的1维的预测值，再使用logistic函数进行映射。使用对输入维度和输出维度进行调整。如下图所示，可以使8个维度的输入张量映射到1个维度的输出张量。可以从n维的输入直接映射到1维的输出，也可以分多层一步一步的进行映射，例如：从8维映射到6维，再从6维映射到4维，再从4维映射到2维，再从2维映射到2维。

回归是对变量预测。分类是对变量预测。通过比较分类的概率来判断预测的结果。以学生学习为例，：学习时间预测学习成绩，：学习时间预测通过考试的概率，两个类别标签，通过与不通过，这是一个二分类任务。逻辑斯蒂回归是一种分类任务。这里的x更换为。适用于线性模型将输出值由实数空间映射到[0,1]之间，以此进行分类。与线性回归模型相比logistic（逻辑斯蒂）回归模型，多增加了一个映射函数。注：只要满足饱和函数的规定，都属于sigmoid函数，如logistic（逻辑斯蒂）函数。

torch.optim.SGD(params, lr=required, momentum=0, dampening=0,weight_decay=0, nesterov=False),params参数，lr学习率。torch.nn.Linear(in_features,out_features,bias=True),in_features,out_features为输入样本和输出样本的数量。，如图，线性模型的x，y都是3*1的向量张量。

单个元素叫标量（scalar），一个序列叫向量（vector），多个序列组成的平面叫矩阵（matrix），多个平面组成的立方体叫张量（tensor）。为5*1矩阵，等一层权重矩阵H1为6*5矩阵，则需要30个解析式，第二层权重矩阵H2为6*7矩阵，则需要42个解析式，第三层……不难发现，如果一直进行线性变换，最终得到的化简函数依然是一个线性函数，因此需要在每一层的输出，引入一个的非线性的变换函数。，最终通过链式法则完成每个节点的梯度计算，从而完成每个节点的w更新。MM为矩阵乘法，ADD为矩阵加法，

优化问题：求误差值函数最小的权重。

机械学习的过程： 1.准备数据集DataSet——>2.选择模型Model——>3.训练Training——>4.推理Infering。注：数据集策略，将数据集一分为二，一部分为训练集，一部分为开发集。训练集进行训练，开发集进行性能评估。的训练样本训练模型，用来预测未来输入样本的标签，如用于逻辑回归分类器。注：经过训练，输入新的数据能推测出输出。注：这个机械学习开始伴随一个随机参数，为损失值Training Loss，的权重方法：穷举法，绘制损失曲线。是权重，y是真值point，

Pytorch分两个版本：GPU版本和CPU版本。

（4）深度学习Deep learning：设置一些简单的特征提取规则，额外的特征提取器提取特征，学习器使用神经网络。与传统的学习系统不同，深度学习的特征提取器与学习器是同时训练的。计算图是一种基于图的算法。（2）人工神经网络Artificial neural network：把许多的感知机按一定的层次结构连接起来，就得到了神经网络。表示学习的学习器面临“维度的诅咒”，特征维度越高，需要数据越多，因此需要降维。，将特征转化为固定的向量，在向量与输出之间建立映射。如：求f(x)的原函数，设计专门的算法即可。