皓鹏飞-优快云博客

原创深度学习-NLLLoss函数

假设我们有一个向量z=[z1,z2,...,zn]，其中zi是模型对第ii个类别的原始输出（未经过任何非线性变换）。首先，我们需要应用LogSoftmax函数来得到每个类别的对数概率：这里的li是第i个类别的对数概率。对于每个样本ii，假设真实标签为yiyi，则NLLLoss函数计算的是真实标签对应的对数概率的负值：对于整个批次的数据，NLLLoss函数的总损失是所有样本损失的平均值：其中N是批次中样本的数量。

2024-08-21 00:00:00 571

原创深度学习-LogSoftmax函数

由上一篇文章可知Softmax函数的函数的定义，而LogSoftmax函数就是对Softmax函数取自然对数。数学公式如下：尽管存在这些缺陷，LogSoftmax函数仍然是深度学习中处理多分类问题时一个非常有用的工具。在设计模型时，需要根据具体的应用场景来权衡其利弊。如果你的应用场景需要稳定的数值计算并且与交叉熵损失函数兼容，那么LogSoftmax函数是一个很好的选择。

2024-08-20 00:00:00 1821

原创深度学习-Softmax函数

在深度学习中，Softmax函数是一种常用的激活函数，特别用于多分类问题的输出层。它将一组任意实数转换为概率分布，即输出是一个向量，其中每个元素都在（0，1）之间，并且所有元素之和为1。这使得Softmax函数非常合适于表示分类预测的概率。（相当于找出概率最高的）

2024-08-16 11:29:22 346

原创深度学习-ReLU函数

ReLU函数的数学定义很简单，对于任何输入x，ReLU函数f(x)的输出定义为：就是说，如果输入的x是正数，函数的输出就是x本身，如果x输入的是负数，那么输出的就是0。

2024-08-15 17:34:59 396

原创深度学习-Linear函数

torch.nn.Linear(in_features,out_features,bias=Ture)创建一个线性变换层，参数说明：①in_features：输入向量的特征数（向量的维度）②out_features：输出向量的特征数（经过线性变换后所获得的向量的维度）③bias：如果为True，那么该层会有一个偏置向量，如果为False，就不会。

2024-08-15 17:03:31 342

原创 BP神经网络

BP神经网络，全称为反向传播（Backpropagation）神经网络，是一种多层前馈神经网络，它通过一种监督学习的方法进行训练，能够实现从输入到输出的非线性映射。BP神经网络是深度学习中非常基础和重要的组成部分，广泛应用于模式识别、图像处理、语音识别等领域。

2024-07-22 14:39:03 626

原创利用梯度下降法进行多变量进行二分类

当使用梯度下降法进行多变量二分类时，我们通常会使用逻辑回归（Logistic Regression）模型，因为它可以将线性模型的输出转换为概率，从而适用于二分类问题。逻辑回归使用 Sigmoid 函数将线性模型的输出映射到 (0, 1) 区间内，表示为正类的概率。

2024-07-18 09:43:48 392

原创利用梯度下降法进行多变量线性回归

使用梯度下降法进行多变量线性回归是一种常见的优化方法，用于找到最小化预测误差（通常是均方误差）的参数。在多变量线性回归中，我们有多个特征（或变量）用于预测目标变量。

2024-07-17 14:35:39 356

原创 tensor微分计算

在PyTorch中，我们可以使用自动微分（Autograd）来计算张量（tensor）的微分。模块为所有张量上的所有操作提供了自动微分。为了计算某个张量的梯度，你需要首先设置。来告诉PyTorch你想要跟踪这个张量的计算历史。

2024-05-28 22:27:08 254

原创梯度下降算法

在简单线性回归的情况下，梯度可以表示为 ( \frac{1}{n} \sum_{i=1}^{n} (w \cdot x_i - y_i) \cdot x_i )，其中 ( n ) 是样本数量，( x_i ) 是第 ( i ) 个样本的特征值，( y_i ) 是第 ( i ) 个样本的标签值。新的权重向量 ( w_{t+1} ) 是通过从当前权重向量中减去学习率与梯度的乘积得到的，即 ( w_{t+1} = w_t - \eta \cdot \nabla J(w_t) )。

2024-05-28 22:26:34 694

原创 tensor基础语法（深度学习）

实际上，标量，向量和矩阵都可以看作是张量的特例，标量是0维的，向量是1维的，矩阵是2维的。torch.tensor是包含单一数据类型元素的多维数组，他是PyTorch中数据存储和运算的基本单元，类似于numpy的numpy.ndarray,两者的函数接口和运算方式几乎一样。对于一维张量（向量），它将返回一个元素的元组，表示向量的长度。对于二维张量（矩阵），它将返回一个包含两个元素的元组，分别表示矩阵的行数和列数。对于更高维度的数组或张量，ndim返回的是数组的维度，返回的只有一个数，该数即表示数组的维度。

2024-05-15 23:03:25 1803

原创线性神经网络

在介绍深度神经网络之前，我们需要了解神经网络训练的基础知识。本章我们将介绍神经网络的整个训练过程，包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。为了更容易学习，我们将从经典算法————线性神经网络开始，介绍神经网络的基础知识。经典统计学习技术中的线性回归和softmax回归可以视为线性神经网络，这些知识将为未来其他部分中更复杂的技术奠定基础。线性回归回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。

2024-05-09 13:24:00 1775 2

m0_72678524的博客