- 博客(4)
- 收藏
- 关注
原创 1.3 softmax回归分类问题数学原理
但是线性模型有个问题,它的输出并不能限制这些输出的数字综合为1,而且它的输出也可能是负值,输出结果可能会违反概率的基本公理。这时候softmax函数就应运而生了,我们可以用softmax函数来把线性模型的输出。的每一行都为概率分布,每一行之和为1,并且每一行中的值都为非负数。输入到模型中,模型的输出会告诉我们这些样本是每个类别的概率分别是多少。我们知道了模型,还要有损失函数有模型的准确率指标,才能用梯度下降法不断优化求得最优模型参数。是预测的概率,表示它是属于j类的概率,所以这个公式才能表示概率。
2025-03-23 19:21:34
583
原创 1.2 梯度下降法和基于pytorch一元线性回归
由于我们最开始的w和b是随机初始化,所以肯定不准确,我们后面的梯度下降目的是为了预测提高准确率,也可以说目的是让损失值更小,所以在进行梯度下降之前我们先看一下初始的状态。但对于神经网络,损失函数通常是高度非线性的,比如涉及指数、log、ReLU、sigmoid 等函数,导致它们的偏导数方程组难以解析求解。然后我们用梯度下降法进行回归,运行程序后你会发现打印的loss值是越来越小的,说明预测是越来越准确的,梯度下降法是有效的。这种方法是有效的,因为它可以直接得到参数的解析解,而不需要迭代优化过程。
2025-03-18 10:26:03
833
原创 1.1深度学习pytorch求导操作
通过调用 backward,我们可以执行一次自动求导,但如果再次调用,会发现程序报错,无法继续。在 PyTorch 中,backward() 只能计算标量对张量的梯度。可以看到,x 的梯度变为 30,这是因为进行了两次自动求导,将第一次的梯度 30 与第二次的梯度 30 相加,最终得到 30 这个结果。线性代数里的向量、矩阵在pytorch里分别可以称为一维张量,二维张量,上面的z是一个标量,那如果是一个向量呢?数学公式很简单,那用pytorch怎么实现呢,有Python基础的人可以直接看下面的代码。
2025-03-16 13:02:49
944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅
1