dwjf321的博客

所谓的训练函数，指的是输入数据读取、送入网络、计算损失、更新参数的流程，该流程较为固定。我们使用的是多分类交叉生损失函数、使用 SGD 优化方法。该数据为二手手机的各个性能的数据，最后根据这些性能得到4个价格区间，作为这些二手手机售出的价格区间。需要注意的是: 在这个问题中，我们不需要预测实际价格，而是一个价格范围，它的范围使用 0、1、2、3 来表示，所以该问题也是一个分类问题。我们可以使用机器学习的方法来解决这个问题，也可以构建一个全连接的网络。使用训练好的模型，对未知的样本的进行预测的过程。

在设计机器学习算法时希望在新样本上的泛化能力强。许多机器学习算法都采用相关的策略来减小测试误差，这些策略被统称为正则化。神经网络的强大的表示能力经常遇到过拟合，所以需要使用不同形式的正则化策略。目前在深度学习中使用较多的策略有范数惩罚DropOut特殊的网络层等，接下来我们对其进行详细的介绍。

梯度下降法是一种寻找使损失函数最小化的方法。从数学上的角度来看，梯度的方向是函数增长速度最快的方向，那么梯度的反方向就是函数减少最快的方向，所以有：其中，η是学习率，如果学习率太小，那么每次训练之后得到的效果都太小，增大训练的时间成本。如果，学习率太大，那就有可能直接跳过最优解，进入无限的训练中。解决的方法就是，学习率也需要随着训练的进行而变化。前向传播：指的是数据输入的神经网络中，逐层向前传输，一直到运算到输出层为止。

在深度学习中，损失函数是用来衡量模型参数质量的函数、衡量的方式是比较网络输出和真实输出的差异：损失函数在不同的文献中名称是不一样的，主要有以下几种命名方式：在多分类任务通常使用softmax将logits转换为概率的形式，所以多分类的交叉熵损失也叫做softmax损失，它的计算方法是：其中:上图中的交叉熵损失为：从概率角度理解，我们的目的是最小化正确类别所对应的预测概率的对数的负值(损失值最小)，如下图所示：在pytorch中使用实现，如下所示：输出结果：2.3. 二分类任务损失函数在处理二

神经网络的输入数据是为[batch_size, in_features]的张量经过网络处理后获取了[batch_size, out_features]的输出张量。在 pytorch 中定义深度神经网络其实就是层堆叠的过程，继承自。

均匀分布的 xavier 初始化：[-limit，limit] 中的均匀分布中抽取样本, limit 是 sqrt(6 / (fan_in + fan_out))。一般我们在使用 PyTorch 构建网络模型时，每个网络层的参数都有默认的初始化方法，优先选择 kaming 的初始化，xavier 初始化方式。均匀分布的 HE 初始化：它从 [-limit，limit] 中的均匀分布中抽取样本, limit是 sqrt(6 / fan_in)的高斯分布中取样，使用一些很小的值对参数W进行初始化。

激活函数用于对每层的输出数据进行变换, 进而为整个网络注入了非线性因素。此时, 神经网络就可以拟合各种曲线。没有引入非线性因素的网络等价于使用一个线性模型来拟合。通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数, 提升网络对复杂问题的拟合能力。如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于一种线性模型，如下公式所示：sigmoidtanhReLUSoftMax。

这个过程就像，来源不同树突(树突都会有不同的权重)的信息, 进行的加权计算, 输入到细胞中做加和，再通过激活函数输出细胞值。神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的。各个神经元传递复杂的电信号，树突接收到。人脑可以看做是一个生物神经网络，由众多的。，然后对信号进行处理，通过轴突。