【动手学深度学习】Part1

最新推荐文章于 2024-11-08 22:59:21 发布

iminvincible111

最新推荐文章于 2024-11-08 22:59:21 发布

阅读量141

点赞数

文章标签：深度学习

本文链接：https://blog.youkuaiyun.com/weixin_44204511/article/details/104312445

版权

本文深入浅出地讲解了机器学习中的关键概念，包括线性回归、逻辑回归、多层感知机等算法原理，以及交叉熵、相对熵等评估指标，并详细解释了softmax函数在多分类任务中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

个人水平有限，仅记录一些理论知识及代码解释，代码实现的工程能力还需加强。

线性回归

labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),
                       dtype=torch.float32)#增加一个根据正态分布随机生成的偏差

x.backward()
反向传播在这里插入图片描述

x为标量，可不填写grad_variables参数，若填写的话就相当于系数
x不是标量，则须填写和x大小一样的参数

softmax函数

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，选取概率最大的结点作为预测目标，从而来进行多分类。

交叉熵

信息量：
信息量越大，则发生概率越小。则将事件 x0 的信息量定义如下, 其中 p(x0)表示事件的发生概率, 可以看到如果事件100%发生, 则信息量为0
在这里插入图片描述
坐标图
熵就是表示所有可能事件所产生的信息量期望

相对熵
相对熵又叫做KL散度, 用于衡量同一组随机变量x的两个分布 p(x) 与 q(x) 的差异, 在机器学习中, p(x) 常用于表示样本的真实分布, q(x)表示预测的分布, 机器学习就是不断的学习去让 q(x)来准确的拟合真实分布在这里插入图片描述
相对熵越小, 表明两个分布越接近。