znsoft的专栏

verbalizer: 类映射器， 用于将标签词映射到对应类别标签的一种机制或程序。label words: 标签词。MLM: 掩码型语言模型。label： 类别标签。

我们在提示学习或其它方式中经常需要对模板中的占位符，如 This is a demon, [X], it was a [MASK] 中的[X]进行替换并需要在随后的处理中取出它对应的向量。此时，我们需要知道[X]所在的postion, 即偏移才可以正常处理。在transformers中，这个位置 真的不好推测 ，需要用transformers的tokenizer api进行处理。怎么办？看代码：temp 为模板，比如 it was a [X] news. labels是要替换的具体词..

在提示学习中答案形状可以分为三种：单token答案 ( single token) 跨度答案（span) 开放式文本（open ended text)第一种 主要用于分类任务等只需要一个指示状态的第二种用于 序列分类，比如ner, 关系抽取，事件抽取等需要从原文中获取文本作为结果的场景第三种用于 生成任务，比如 文本翻译等。对于第一第二种形态，需要在bert/bart之类模型输出后面接入mlp之类的映射layer 将输出 的logits映射 为需要的标签或跨度值第三种就

论文翻译与注释(2022/4/17 下午3:28:15)(Reynolds 和 McDonell, 2021, p. 1) 将大型生成语言模型映射到有监督任务中的现行方法可能无法充分探测模型的新能力。以GPT-3为例，我们展示了零样本提示可以明显优于小样本提示。我们建议，在这些情况下，小样本例子的功能最好被描述为定位一个已经学会的任务，而不是元学习。这一分析促使我们重新思考提示在控制和评估强大语言模型中的作用。我们讨论了提示编程的方法，强调了通过自然语言的视角考虑提示的有用性。我们探讨了利用叙事和记忆

论文读后感 ： Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm

完整代码和数据集参见 ：​​​​​​BIT-ENGD/PromptClassify (github.com)基于bert-large模型，以代码中链接所示为基础进行规范化改进。'''https://blog.youkuaiyun.com/wf19971210/article/details/120543015链接：https://pan.baidu.com/s/1Nx7htUBWKBZfo3QPPty3mw提取码：1234'''from cProfile import labelim.

在提示学习中，最重要的就是编写或获得一个好的提示，在这个过程中发展出了两个概念：hard promptsoft prompt字面上讲，hard prompt就是由具体的中文或英文词汇组成提示，它是人工可读的提示。soft prompt提示是在向量空间优化出来的提示，从一个hard prompt开始（初始化）通过梯度搜索之类的方式进行优化，不改变原始的提示向量的数量和位置，在它的空间进行搜索。大白话： hard prompt 人可以读的提示，是一段人工可阅读的描述或者单词组合。so

NLP 目前为止经历了四个阶段：1. 完全监督机器学习2. 完全监督深度神经网络3. 预训练模型微调阶段： 预训练-> 微调4. prompt 提示学习阶段： 预训练-> 提示-> 预测第1,2阶段大家非常熟悉，第3阶段也有所了解，第4阶段是啥？相对于第3阶段，第4阶段解决的是通过提示方法，修改下游任务来适应预训练模型。在第三阶段，我们会的招式是 fine-tuning, 讲白了是微调语言模型来适应下游任务的变化 。在第四阶段，我们要反过来图之，采用改造