dwjf321的博客

所谓的训练函数，指的是输入数据读取、送入网络、计算损失、更新参数的流程，该流程较为固定。我们使用的是多分类交叉生损失函数、使用 SGD 优化方法。该数据为二手手机的各个性能的数据，最后根据这些性能得到4个价格区间，作为这些二手手机售出的价格区间。需要注意的是: 在这个问题中，我们不需要预测实际价格，而是一个价格范围，它的范围使用 0、1、2、3 来表示，所以该问题也是一个分类问题。我们可以使用机器学习的方法来解决这个问题，也可以构建一个全连接的网络。使用训练好的模型，对未知的样本的进行预测的过程。

在设计机器学习算法时希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差，这些策略被统称为正则化。神经网络的强大的表示能力经常遇到过拟合，所以需要使用不同形式的正则化策略。目前在深度学习中使用较多的策略有范数惩罚DropOut特殊的网络层等，接下来我们对其进行详细的介绍。

在深度学习中，损失函数是用来衡量模型参数质量的函数、衡量的方式是比较网络输出和真实输出的差异：损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式：在多分类任务通常使用softmax将logits转换为概率的形式，所以多分类的交叉熵损失也叫做softmax损失，它的计算方法是：其中:上图中的交叉熵损失为：从概率角度理解，我们的目的是最小化正确类别所对应的预测概率的对数的负值(损失值最小)，如下图所示：在pytorch中使用实现，如下所示：输出结果：2.3. 二分类任务损失函数在处理二

常见的缺失值补全方法：平均值和中位数。平均值是对整体很好的估计，而中位数是对整体中心很好的估计。如果数据特征分布比较稳定，平均值的效率会更高。中位数的稳定更好，能避免异常数值的影响。由于样本数据分布正常，这里使用平均值插值处理。对于字符串特征，我们需要把类别转换成数值，简单的做法是直接转换为数字。如：France=0，Korea=1，Germany=2。这种做法由于数字是连续的容易给机器学习一个误导。因此处理类别特征常用的方法是。定义：将原数据转换为符合均值为0，标准差为1的标准正太分布的数据。

神经网络的输入数据是为[batch_size, in_features]的张量经过网络处理后获取了[batch_size, out_features]的输出张量。在 pytorch 中定义深度神经网络其实就是层堆叠的过程，继承自。

均匀分布的 xavier 初始化：[-limit，limit] 中的均匀分布中抽取样本, limit 是 sqrt(6 / (fan_in + fan_out))。一般我们在使用 PyTorch 构建网络模型时，每个网络层的参数都有默认的初始化方法，优先选择 kaming 的初始化，xavier 初始化方式。均匀分布的 HE 初始化：它从 [-limit，limit] 中的均匀分布中抽取样本, limit是 sqrt(6 / fan_in)的高斯分布中取样，使用一些很小的值对参数W进行初始化。

激活函数用于对每层的输出数据进行变换, 进而为整个网络注入了非线性因素。此时, 神经网络就可以拟合各种曲线。没有引入非线性因素的网络等价于使用一个线性模型来拟合。通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数, 提升网络对复杂问题的拟合能力。如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于一种线性模型，如下公式所示：sigmoidtanhReLUSoftMax。

这个过程就像，来源不同树突(树突都会有不同的权重)的信息, 进行的加权计算, 输入到细胞中做加和，再通过激活函数输出细胞值。神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的。各个神经元传递复杂的电信号，树突接收到。人脑可以看做是一个生物神经网络，由众多的。，然后对信号进行处理，通过轴突。