- 博客(10)
- 收藏
- 关注
RSS订阅原创 Decoder与文字生成
之前学习了回归任务（输出拟合为一个值）和分类任务（输出为一个向量，维度为分类个数，选取argmax作为输出类别）。在这两个任务中输出的维度都是固定的，现在来看输出维度不固定的生成式任务。我们将从Transformer的Decoder层看起，Transformer模型最初就是应对翻译任务的。Transformer的输入为序列，输出也为序列。这种模式称为sequence to sequence（seq2seq）。
2026-01-22 13:09:04
598
原创 Bert输入和参数计算
上一节已经讲到Bert是一个特征提取器，其核心部分是12个Transformer的Encoder层的叠加，主要是实现文本分类。但上一节并未详细讲bert和transformer的emdedding区别，我们先从这一部分讲起。
2026-01-18 19:48:07
566
原创 Self-attention——自注意力机制和bert
自注意力机制是Transformer的核心。这篇文章学习以下内容：1.怎么用数据表示文字2.怎么得到序列数据中上下文的关系信息3.可以并行的自注意力机制4.BERT。
2026-01-17 15:41:35
641
原创 深度学习就是在玩特征
我们读取数据作为模型的Input，这个数据可以是矩阵也可以是图片。通过之前两个（新冠、食物分类）任务我们了解到：Input通过神经网络之后会转化成一个高维的向量，这个向量就是神经网络提取出的特征。这一过程就是特征提取，也是下游任务（即预训练一个神经网络实现可以很好地提取Input的特征）。而后我们用一个或两个全连接层（也叫分类头）把向量转化为我们想要的Output。在新冠人数预测中Output为预测的新冠感染人数，用MSE作为损失函数；食物分类任务中Output为一个11维的向量，每个值是预测概率。
2026-01-17 14:09:19
274
原创 用半监督学习优化食物分类项目
食物分类的训练数据集除了280*11的有标签数据之外，还有6000+无标签数据，我们要利用这部分数据来训练模型。方法是当验证准确率高于某个阈值时，就认为模型的预测效果还可以，尝试预测无标签数据，并把预测置信度高于thres的数据以及预测出来的标签加入半监督数据集semi_set，在下一轮训练时同有标签数据一同参与模型训练。这样做的道理是预测置信度高于thres（通常是0.99）表明此图片极大概率就是这一类，我们就相信他，把它当作真实的标签参与训练。
2026-01-16 21:13:12
335
原创 深度学习——图像分类
在上一个新冠人数预测的回归任务中，用到了全连接神经网络（x = nn.linear(input_dim, output_dim))处理了矩阵转化为tensor类型的数据，输出的是预测值。在图像分类专题中，输入、输出、损失值都和回归问题一样。需要学的东西是：1.神经网络是如何处理图片的：卷积2.在分类问题中输出是什么：概率向量3.参数有哪些：卷积核，全连接层的w和b4.损失函数是什么：交叉熵。
2026-01-13 12:03:38
665
原创 深度学习实战——回归任务：新冠人数预测
数据集是两个csv文件：covid.train.csv,covid.test.csv。测试数据集covid.train.csv是2701行、94列的表格，测试数据集是2701行、93列的表格。二者区别在最后一列，训练数据集最后一列是第三天的感染人数，测试数据集最后一列为空，需要预测。两个数据集都需要去掉第一行和第一列，因为这两列是索引，对模型训练没有帮助。在这部分定义模型类，继承于nn.Module。这个模型的唯一参数是模型输入维度，这是一个全连接的神经网络，要注意在前向传播中x维度的变化。
2026-01-10 20:52:04
488
原创 深度学习的python基础
（1）普通定义a = 2b = 3#函数定义（2）第二个及以后的参数可以不传入#函数定义2，第二个参数可以不传入值print(squ_2(3)) #如果不传入b的值，b就默认为2print(squ_2(3,3)) #也可以传入一个b的值。
2026-01-08 16:53:36
260
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人