sdu_hao的博客

原文链接导读：本文的目标是对近期火爆异常的Prompt相关研究作一些追溯和展望，内容主要参考论文《Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing》，并掺杂了笔者的一些个人见解。另外，封面及文中使用的图片均截取自该论文，转载请注明出处。文章目录1. Prompt的产生和兴起2. 什么是Prompt3. Prompt的设计Prompt的形状手工设计模

目录1. StructBert2. RoBerta3. Bert系列预训练语言模型总结1. StructBertstructbert的创新点主要在loss上，除了MLM的loss外，还有一个重构token顺序的loss和一个判断2个segment关系的loss。重构token顺序的loss是以一定的概率挑选segment中的token三元组，然后随机打乱顺序，最后经过encod...

目录1. 背景2. Albert流程和技术细节3. 总结1. 背景增大预训练模型的大小通常能够提高预训练模型的推理能力，但是当预训练模型增大到一定程度之后，会碰到GPU/TPU memory的限制。因此，作者在bert中加入了2项减少参数的技术，能够缩小bert的大小，并且修改了bert NSP的loss，在和bert有相同参数量的前提之下，有更强的推理能力。2. A...

目录1. 背景2. Bert流程和技术细节3. 总结1. 背景在bert之前，将预训练的embedding应用到下游任务的方式大致可以分为2种，一种是feature-based，例如ELMo这种将经过预训练的embedding作为特征引入到下游任务的网络中；一种是fine-tuning，例如GPT这种将下游任务接到预训练模型上，然后一起训练。然而这2种方式都会面临同一个问题，就...

原文链接目录1. 背景2. transformer流程与技术细节3. 总结1. 背景17年之前，语言模型都是通过rnn，lstm来建模，这样虽然可以学习上下文之间的关系，但是无法并行化，给模型的训练和推理带来了困难，因此论文提出了一种完全基于attention来对语言建模的模型，叫做transformer。transformer摆脱了nlp任务对于rnn，lstm的依赖，使...

自从Bert问世以来，预训练语言模型的各种变体层出不穷，在预训练语言模型专栏，我将参考一些资料，对一些主要的平时使用比较多的预训练语言模型做一些理论层面的整理。至于预训练语言模型的应用，可以查阅我的文分分类和机器阅读理解相关专栏，上面结合代码和具体的任务，详细说明了如何把预训练语言模型应用到文本分类和阅读理解任务上。全系列预训练语言模型的相关论文可以查看清华大学刘志远老师组整理的li...