- 博客(8)
- 收藏
- 关注
RSS订阅原创 【Torch巩固复习记录】torch.nn
torch.nn中的nn全称为neural network,意思是神经网络，是torch中构建神经网络的模块。在看过一些资料后，我对nn这个模块是这么理解的：这个模块的基础是nn.Module，是实现的层（layer）是一个特殊的类。都是由class Layer(nn.Module)定义，会自动提取可学习的参数。ps：functinal模块中的函数就是一个函数，没有可学习参数。因此，nn就是pytorch用来提供各类预定义好的模型层的库，有什么需要的模型层在这个库里面找就好了。
2023-05-08 12:48:05
131
原创 【Torch巩固复习记录】Tensors
开个新坑。最近在准备面试的时候，突然被一个写神经网络的题给难住了，因此也意识到了我很长一段时间内忘了去巩固pytorch的，太过于依赖调包+google搜索文档（甚至现在开始依赖chatgpt）。虽然不关注代码细节，关注输入输出，然后cv+拼积木的做法在短期内可以搭建出合格的框架，但是这显然缺少更深入的理解。遂决定，要把pytorch的一些基本概念再复习复习。本坑的所有内容都来自于：Tensor的基本概念：tensor是很像numpy的一种矩阵存储方式，甚至在很多时候和numpy公用一个存储空间。
2023-05-07 16:47:29
124
原创 【技术解析笔记】DDPM解析
DDPM指的是Denoising diffusion probalistic models，一种生成式模型，提出的时候特别强调了可以超过GAN。DDPM的想法来源于这样一个过程：对一个图像反复添加某分布的噪音，那么该图像最终就是一个随机噪音图。那么能否自动学习一个倒置过程呢？
2022-09-09 15:40:26
1435
原创 【论文阅读笔记3】Learning to Transfer Prompts for Text Generation
近年来，文本生成任务在PLMs+微调的加持下取得了显著进展。然而，在数据稀缺场景下对PLM进行微调依然是具有挑战的。因此，基于PLM开发一个通用且轻巧的模型是十分有必要的。本文将介绍一种基于prompt的迁移学习方法（PTG）。PTG通过从sorce prompt中学习特征，并迁移为target prompt的方法实现目标文本生成。实验表示PTG能够产出和微调不相上下的结果。在NLP中，文本生成是一项重要的研究任务。其目的在于从源数据中自动生成人类可读的文本。
2022-09-08 11:49:01
802
原创 【论文阅读笔记2】：Cooperative Self-training of Machine Reading Comprehension
论文阅读笔记：自训练方法在生成任务中带给我们的启示
2022-07-15 17:22:54
498
原创 【技术记录1】：Prefixtunning在BART中是如何实现的?
Prefix-tunning实践bug记录，关于past-key-value
2022-07-03 20:21:04
2071
7
原创 【论文阅读笔记1】：Pre-trained Language Models for Text Generation: A Survey
论文阅读笔记：预训练语言模型做文本生成
2022-06-15 00:22:04
847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人