- 博客(11)
- 收藏
- 关注
原创 【DeepLearning】2-5多层感知机——丢弃法
定义具有两个隐藏层的多层感知机,每个隐藏层包含256个单元。这里我们设置了两个隐藏层对应的dropout概率,分别为0.2和0.5。并且在第一个全连接层和第二个全连接层之间分别添加了两个dropout层。确保只有在训练时才使用dropout。
2025-06-03 21:23:42
984
原创 【DeepLearning】2-4多层感知机——权重衰减
L2L_2L2训练函数的定义和线性回归模型基本相同,只是增加了一个超参数lambd,用于控制正则项的强弱。最后我们以动画形式输出训练过程和www的L2L_2L2泛数用于比较。print('w的L2范数是:', torch.norm(w).item())
2025-05-09 08:29:30
1068
原创 【DeepLearning】2-2多层感知机——多层感知机的实现
注:1、因为我们忽略了空间结构, 所以我们使用reshape将每个二维图像转换为一个长度为num_inputs的向量。2、隐藏层的计算H = relu(X @ W1 + b1),这里使用了我们刚刚定义的激活函数ReLU,将线性的X @ W1 + b1转化为非线性的关系。3、最终输出层执行了一个线性操作,通常这个输出值会用于后续的损失计算、分类等任务中。在这里我们依旧使用之前讲述的“小批量随机梯度下降”算法,将学习率设置为0.1。
2025-03-25 08:15:20
1229
原创 【DeepLearning】2-1多层感知机——感知机与多层感知机简介
在本节内容中,我们从最原始的二分类感知机出发,介绍了感知机的训练和工作原理,并且对于线性可分的数据集,我们总能得到分类的决策边界。由于单层感知机不能解决非线性的XOR问题,因此我们引入了多层感知机,隐藏层中的激活函数把将线性变成非线性,进而我们能解决更多复杂的问题。常用的激活函数有Sigmoid函数、Tanh函数和ReLU函数等。在建立模型时,还需要设置隐藏层层数和隐藏层大小等超参数。
2025-03-23 09:36:28
1300
原创 【DeepLearning】1-5线性神经网络——softmax回归的简洁实现
1、softmax的回归的输出层是一个全连接层,即:每个输入神经元与每个输出神经元都相连。因此,为了实现模型,我们要在Sequential中添加一个有10个输出的线性层。2、由于PyTorch不会隐式地调整输入的形状,因此我们要先定义一个展平层(Flatten),在线性层前调整网络输入的形状。Flatten()可以将任意维度的张量变成2D的张量,第0维度保留,其余维度展成向量。这一步与上一节中reshape的功能一样。
2025-03-18 07:50:26
726
原创 【DeepLearning】1-4线性神经网络——softmax回归的从零开始实现
softmaxXijexpXij∑kexpXiksoftmaxXijk∑expXikexpXij注:softmax操作由三个步骤组成,这里输入的参数是未规范化的预测ojo_joj。1、对每一项求指数幂。2、对每一行求和,得到每个样本的规范化常数,也就是partition。3、将每一行除以规范化常数,确保它们加和为1。我们可以做一个验证来直观地感受一下。下面的代码定义了如何通过网络映射对应到输出。
2025-03-13 09:02:53
1359
原创 【DeepLearning】1-3线性神经网络——softmax回归和图像分类数据集介绍
在前两节中,我们介绍了线性回归并对其进行了实现,利用线性回归我们可以预测数量问题,如房屋出售价格。我们同样对分类问题十分关心,比如哪一封电子邮件是垃圾邮件、图片上描绘的是哪一种动物等等。在本章节,我们将介绍softmax回归以解决分类问题。值得注意的是,尽管softmax回归带有“回归”二字,但它本质上是用于分类的。我们还会介绍MNIST数据集,这是在图像分类中广泛使用的数据集之一,有了它我们便可以在后续实现softmax回归。
2025-03-10 07:39:28
1090
原创 【DeepLearning】1-2线性神经网络——线性回归的简洁实现
对于标准的深度学习模型,我们通常使用框架预定义好的层,并且只关注使用哪些曾来构造模型,而不必关注层的实现细节。注:1、nn.Linear(2, 1) 指定接收2维的输入,即每个样本有2个features,和1个输出label。这个层在内部给定两组参数:一组权重(w1, w2)和一个偏置(b),它们的组合可以将输入数据线性变换为输出数据。2、nn.Sequential()可以将所有层串联在一起,将第一层的输出作为第二层的输入,以此类推。但在本节中只有一层。
2025-03-07 11:03:13
771
原创 【DeepLearning】1-1线性神经网络——线性回归的从零开始实现
文章内容参考《动手学深度学习》PyTorch版教材,以及李沐老师的深度学习课程的一些讲解,文章以笔记的形式记载了一些知识点和本人对代码的理解,欢迎各位大佬批评指正。本次学习内容是线性回归的从零开始实现,首先对线性回归的数学概念及逆行了简短的回顾;随后建立人工数据集,定义了模型和损失函数,对模型参数设置了初始化,学习了小批量随机梯度下降的优化算法;最后,依据人工数据集中的样本,利用sgd算法预测模型参数,对预测参数进行评估。
2025-03-06 12:18:44
1289
原创 Mac如何解决matplotlib的中文乱码问题
摘要:Mac用户在PyCharm或VS code中使用matplotlib进行绘图时不能正确显示中文,使用'SimHei'后仍然报错,可以选择'Heiti TC'来正确显示中文。
2024-08-06 15:37:25
1199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅