PTR: Prompt Tuning with Rules for Text Classification

最新推荐文章于 2024-10-12 16:46:06 发布
原创 最新推荐文章于 2024-10-12 16:46:06 发布 · 1.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #python #深度学习

介绍了一种名为PTR的方法，该方法通过使用带有规则的PromptTuning来改进多类分类任务，特别是关系分类任务。PTR利用逻辑规则来设计sub-prompt，并结合先验知识以提高模型的准确性和效率。

在本文中，我们建议使用带有规则的prompt tuning（PTR）进行多个类别的分类任务进行tuning。对于多个类别的分类任务，我们手动设计基本的sub-prompt，并应用逻辑规则以将子标准构成最终特定任务的prompt。与现有的prompt tuning方法相比，PTR具有两个优势：

（1）Prior Knowledge Encoding。PTR可以应用逻辑规则将有关任务和类的先验知识编码进prompt tuning内。我们拿关系分类为例，预测结果通常和句子分类和实体类别的关系语义相关。我们用两个两个子prompt对关系”person:parent"和关系"organization:parent"建立prompt，一个sub-prompt是确定mask的实体是humaning还是organization，另一个sub-prompt是确定句子是否表达了亲子关系的语义。

（2）Efficient Prompt Design。与所有类的手动设计模板和单独的标签单词相比，设计几个简单的sub-prompt更容易，然后根据逻辑规则组合这些sub-prompt以形成task-special prompt。此外，与基于机器学习模型生成prompt相比，使用逻辑规则生成的prompt更加有效和可解释。

为了验证PTR的有效性，我们对关系分类进行实验，这是一个典型的复杂的多类分类任务。我们实验使用了4个流行的关系分类基准，包括TACRED、TACREV、ReTACRED和SemEval 2010 Task 8.足够的实验结果表明，PTR可以显著且始终如一地超过现有的SOTA基线模型。

Prompting Tuning with Rules (PTR)

请添加图片描述

我们想要知道一个句子的两个mask实体是否有“person:pa

最低0.47元/天 解锁文章
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 8万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
大语言模型LLM微调技术：Prompt Tuning
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-02 2700
Prompt本质上是对下游任务的指令，可以作为一种信息增强 。 简单的来说，就是告诉模型需要做什么任务，输出什么内容。上文我们提及到的离散或连续的模板，本质上就是一种对任务的提示。当数据集不同（乃至样本不同）的时候，我们期望模型能够自适应的选择不同的模板，这也相当于说不同的任务会有其对应的提示信息。
论文解读：PTR: Prompt Tuning with Rules fo Text Classification
夏栀的博客
09-12 5998
论文解读：PTR: Prompt Tuning with Rules fo Text Classification（2021）   预训练语言模型已经在许多NLP任务上达到不错的效果。通过添加prompt模板则可以积累预训练语言模型中丰富的知识。 By using additional prompts to fine-tune PLMs, we can further stimulate the rich knowledge distributed in PLMs to better serve down
论文笔记：PTR: Prompt Tuning with Rules for Text Classification
Daisymanman的博客
10-12 2015
提示学习
论文笔记--PTR: Prompt Tuning with Rules for Text Classification
weixin_38124427的博客
07-16 957
PTR：利用子任务sub-prompts的聚合得到高效的prompt
论文阅读《PTR: Prompt Tuning with Rules for Text Classification》
Jiawen9的博客
08-07 1331
PTR-prompt关系抽取-2021
文献阅读笔记—Universal Language Model Fine-tuning for Text Classification
manmanxiaowugun的博客
11-05 4590
迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！ （一）ELMO：Deep contextualized word representations （二）Universal Language Model Fine-tuning for Text Classification （三）openAI ...
[论文阅读笔记62]KnowPrompt - Knowledge-aware Prompt-tuning with Synergistic Optimization for RE
ld326的专栏
02-14 2763
1. 题目 KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction the paper has been accepted by WWW2022. Alibaba Group && Zhejiang University 2. 模型 2.1 摘要 把关系标签之间的知识整合到关系提取的prompt-tuning中，并提出了一种使用协同优化的Knowledge-
基于prompt的关系抽取方法
qq_42393368的博客
12-19 3989
一、《AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction 》 【摘要】 本文，我们将关系抽取任务作为掩码语言模型建模，并提出一个新的自适应基于prompt的微调方法，我们提出一个自适应标签词选择机制，其可以把关系标签分散到可变数量的标签token中，以处理复杂的多标签空间。我们进一步提出一个辅助实体辨别器，以增强模型对上下文信息的学习。 【引言】 最近，基于自监督的预训练语言模型，例如BERT，其可以学习丰.
线下活动丨Big Model Meetup 第1期：大模型Prompt Tuning技术，8场学术报告和Poster展示...
BAAIBeijing的博客
10-11 831
「Big Model Meetup」系列活动是由智源研究院悟道团队、青源会、清华大学计算机科学与技术系博硕论坛、中国中文信息学会青年工作委员会共同组织，智源社区提供社区支持，PaperWe...
prompt模板模式总结记录
kejizuiqianfang的博客
04-07 5290
文章目录prompt模板模式总结记录完形填空模式Language Models as Knowledge BasesmotivationLAMA Probe数据集实验结果Template-Based Named Entity Recognition Using BARTmotivation构造模板实验结果前缀模式Prefix-Tuning: Optimizing Continuous Prompts for Generationmotivation实现方式实验结果GPT Understands, Toomo
小样本相关论文复现—2-全局印象
Hekena的博客
11-09 792
它引入了新的特殊标记hS:TYPEi、h/S:TYPE、hO:TYPEi、h/O:TYPEi，其中TYPE是命名实体标记器给出的相应NER类型。我们提出了一种类型化实体标记技术的变体，它标记实体跨度和实体类型，而不引入新的特殊标记。该技术引入了特殊的标记对[E1]、[/E1]和[E2]、[/E2]来包围主体和对象实体，因此将输入文本修改为“[E1]SUBJ[/E1]…这种技术引入了新的特殊标记[SUBJ-TYPE]或[OBJ-TYPE]来掩盖原文中的主体或客体实体，其中TYPE被替换为各自的实体类型。
CPM-2细节发布！10大技术打通大模型「任督二脉」，单卡单机跑「千亿模型」不再是梦...
BAAIBeijing的博客
06-22 4491
智源导读：最近两年，预训练模型的参数量以每年 10 倍的速度迅猛增长，然而其计算效率的瓶颈也日渐显现。例如以单块NVIDIA V100 GPU训练，GPT-1的计算时间是 3 天，到GPT...
基于Prompt的MLM文本分类
u013546508的博客
03-31 8151
简介 常规NLP做文本分类时常用Transfer Learning的方式，在预训练bert上加一个分类层，哪个输出节点概率最大则划分到哪一类别。而基于Prompt的MLM文本分类是将文本分类任务转化为MLM（ Masked Language Modeling）任务，通过[MASK]位置的输出来判断类别。 例如通过文本描述判定天气好坏，类别【好、坏】： 常规方式：今天阳光明媚！ 【好】 基于Prompt的MLM： 天气[MASK]，今天阳光明媚！【天气好，今天阳光明媚！】 Prompt的设定可以有多种方式
将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》
u014475479的博客
07-27 7688
本文发表于自然语言处理领域顶级会议 ACL 2018 原文链接 特别说明：笔记掺杂了本人大量的个人理解，以及口语化的语言，由于本人水平有限，极有可能曲解原文的意思，各位看官随意看看，切莫当真~ 摘要 迁移学习在图像领域大放异彩，可是在NLP领域却用途寥寥，这是因为现有的NLP模型都与迁移学习不兼容，每次更新任务都需要重头开始训练模型，否则就会导致模型习得的语言特征灾难性地丢...
WWW2022 | 知识提示的预训练微调
zenRRan的博客
02-20 1876
每天给你送来NLP技术干货！来自：浙大KG一、引言最近一年以来蓬勃发展的自然语言处理新范式“提示学习”(Prompt Learning)，通过构造提示模板和标签映射，显著提升了模型的少样本...
【ACL2022】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text
dongguanting的博客
09-21 1565
原文链接: https://arxiv.org/abs/2108.02035 本文参考了舍友的一篇知乎链接：https://zhuanlan.zhihu.com/p/398009000 intro 这是一篇清华刘知远老师组在arxiv上放出来了Prompt-tuning相关的新工作，本文是promp应用于文本分类的一篇工作，应用一种基于外部知识库的 prompt tuning（knowledgeable prompt tuning，简称kpt）, KPT包含以下三个步骤： 标签词的扩
最近大火的 prompt 论文集锦
AI_Conf的博客
10-29 877
近来作为nlp领域新宠，prompt频频出现在大众视野，小编整理了一些优质论文，欢迎大家一起交流！ 1.论文名称：P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks 链接：https://www.aminer.cn/pub/6168f1a35244ab9dcbe2ffc6 2.论文名称：Pre-train, Prompt, and Predict: A Systemat
NLPer福利！清华推出Prompt-tuning开源工具包，取代传统的微调fine-tuning
10-01 1627
大家好，我是对白。今天要给大家推荐一下我校计算机系NLP实验室的最新成果：OpenPrompt开源工具包。有了它，初学者也可轻松部署Prompt-learning框架来利用预训练模型解决各种NLP问题，下面就让我们一起来看看吧。如何高效地使用大规模预训练语言模型（Pre-trained Language Models， PLMs）是近年NLP领域中的核心问题之一。一直以来，传统的微调（fine-tuning范式）一直是驱动大模型的“基本操作”。在微调范式中，我们需要在预训练模型上引入额外的目标函数来，从而将
operator unspecified_bool_type() const { return valid() ? &rhref_ptr::_ptr : 0; }
最新发布
10-29
`private: typedef T* rhref_ptr::* unspecified_bool_type;` 定义了一个指向 `rhref_ptr` 类成员的指针类型 `unspecified_bool_type`，该成员类型为 `T*`。 `operator unspecified_bool_type() const { return valid() ? &rhref_ptr::_ptr : 0; }` 是一个类型转换运算符函数。此函数的作用是将 `rhref_ptr` 对象隐式转换为 `unspecified_bool_type` 类型。 当调用这个类型转换运算符时，会先调用 `valid()` 函数进行判断。若 `valid()` 返回 `true`，意味着对象处于有效状态，函数会返回 `&rhref_ptr::_ptr`，也就是指向 `rhref_ptr` 类的 `_ptr` 成员的指针；若 `valid()` 返回 `false`，表示对象无效，函数返回 `0`（空指针）。 在布尔语境中，如 `if (obj)` 这样的语句，`obj` 会通过这个类型转换运算符转换为 `unspecified_bool_type` 类型。由于 `unspecified_bool_type` 是一个指向成员的指针类型，在布尔判断时，空指针会被视为 `false`，非空指针会被视为 `true`，从而实现了将 `rhref_ptr` 对象在布尔语境下的有效判断。 以下是一个简单示例代码： ```cpp #include <iostream> template <typename T> class rhref_ptr { private: T* _ptr; typedef T* rhref_ptr::* unspecified_bool_type; bool valid() const { return _ptr != nullptr; } public: rhref_ptr(T* ptr = nullptr) : _ptr(ptr) {} operator unspecified_bool_type() const { return valid() ? &rhref_ptr::_ptr : 0; } }; int main() { int* num = new int(10); rhref_ptr<int> ptr(num); if (ptr) { std::cout << "ptr is valid" << std::endl; } delete num; rhref_ptr<int> null_ptr(nullptr); if (!null_ptr) { std::cout << "null_ptr is invalid" << std::endl; } return 0; } ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值