一颗绿豆芽upupup-优快云博客

原创《PyTorch深度学习实践》学习记录Day 5---4.7 处理多维特征的输入

self.linear1 = torch.nn.Linear(8,6) # 特征从8维降到6维self.linear2 = torch.nn.Linear(6,4) # 特征从6维降到4维self.linear3 = torch.nn.Linear(4,1) # 特征从4维降到1维# 之前是用的torch.nn.Functional.sigmoid()函数，现在是用torch.nn.Sigmoid()模块。

2023-04-07 11:09:48 126

原创《PyTorch深度学习实践》学习记录Day 4---4.6 逻辑斯蒂回归

如果我们预测的概率分布与真实的概率分布相同，那么H(p,q)=H§，如果不相等，那么交叉熵的量就会超过熵的量，超出的这部分就被称为相对熵，更常见的称为KL散度（KL Divergence）。，因为交叉熵越低，就证明由算法所产生的策略最接近最优策略，也间接证明我们算法所算出的非真实分布越接近真实分布。交叉熵用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。信息论中被称为信息熵，它是对不确定性的测量，熵越高，不确定性越大，熵越低，不确定性越低。

2023-04-06 21:25:56 108

原创《PyTorch深度学习实践》学习记录Day 3---4.5 用PyTorch实现线性回归

self.linear(x)也由于魔法函数call的实现将会调用torch.nn.Linear类中的forward，至此完成封装，也就是说forward最终是在torch.nn.Linear类中实现的，具体怎么实现，可以不用关心，大概就是y= wx + b。知道x和y_hat的维度，就可以知道w和b的维度，x是3*1的，1就是x的维度，y_hat的维度也是1。call函数的另一个作用是可以直接在对象后面加()，例如实例化的model对象，和实例化的linear对象。效果不是很好，继续训练，训练1000次。

2023-04-05 17:51:24 85

原创《PyTorch深度学习实践》学习记录Day 2---3.20梯度下降、反向传播

比如下图，当他的梯度大于0，说明此处是增函数，趋势上升，w越大，cost越大，所以我们应该降低w。事实情况是，我们很少遇到图3.2这样平滑的损失函数，我们的真实损失函数很可能是坑坑洼洼的，在局部他是一个最低点，但是全局却不是最低点。每一个量接入到一个函数计算模块中，它可以计算局部的梯度，将来输出的量能得到损失关于它的梯度，就可以沿着计算模块，将损失关于输入的量的梯度求出。l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来，然后把梯度都存在对应的待求的参数中，最终计算图被释放。

2023-03-20 18:43:44 89

原创《PyTorch深度学习实践》学习记录Day 1---3.19线性模型

X, Y = np.meshgrid(x, y) 代表的是将x中每一个数据和y中每一个数据组合生成很多点，然后将这些点的x坐标放入到X中，y坐标放入Y中，并且相应位置是对应的。机器学习：拿到数据集进行训练，训练好后，对于新输入数据，通过模型，预测出结果。模型看不到y值的数据，一种情况是在测试集中，另一种是在推理阶段。：绿色表示训练集，红色表示开发集。模型可视化常用的工具Visdom。

2023-03-19 17:58:24 54