基于对比学习的信息抽取

已于 2024-01-28 16:54:01 修改
阅读量620 收藏 3
点赞数 8
CC 4.0 BY-SA版权
文章标签： 对比学习 信息抽取 自然语言处理
于 2024-01-27 10:43:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wang2008start/article/details/135879244

Label Refinement via Contrastive Learning for Distantly-Supervised Named Entity Recognition

NAACL 2022；做的远程监督NER，通过知识库构建 伪标签，通过对比学习构建负样本，负样本是entity的多余部分或其他不相关部分。即对entity的start和end 上面做负样本的构造和生成

RCL: Relation Contrastive Learning for Zero-Shot Relation Extraction

NAACL 2022；零样本关系抽取；通过对比学习将相似实体和相似关系尽可能的分开而不是重叠在一起

最低0.47元/天 解锁文章
wang2008start
关注
论文浅尝 | 通过对比学习优化用于命名实体识别的双编码器
开放知识图谱
06-05 1094
笔记整理：陆星宇，东南大学硕士，研究方向为自然语言处理链接：https://arxiv.org/abs/2208.14565动机命名实体识别（NER）是识别与命名实体相关的文本片段并将其分类到预定义的实体类型（如人物、位置等）的任务。作为信息提取系统中的基本组件，NER已被证明对各种下游任务如关系抽取、指代消解和细粒度观点挖掘有益。以往的工作主要将NER作为序列标记或跨度分类来处理，存在许多局限性...
论文-基于自适应正负样本对比学习的特征提取框架
weixin_42165744的博客
02-19 1375
目前，高维数据被广泛应用于模式识别和数据挖掘中，这导致了高存储开销、繁重的计算和过度的时间消耗，此外还导致了被称为“curse of dimensionality”（维数灾难）的问题。解决这些问题的一个重要方法是特征提取，它通过投影矩阵将原始的高维空间数据转换为低维子空间。尽管特征提取的效果通常比深度学习的效果差一点，但由于其强大的可解释性，特别是在任何类型的硬件（CPU、GPU、DSP）上，它一直是研究热点。因此，在传统的特征提取中，迫切需要更好地提取下游任务的区分特征。
会议交流 - CCKS2020 | 2020年全国知识图谱与语义计算大会
开放知识图谱
10-16 1043
OpenKG开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。 ...
AAAI2021-基于对比学习的三元组生成式抽取方法
zenRRan的博客
06-21 2368
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：浙大KG论文题目：Contrastive Triple Extraction with Generative Transformer...
【关系抽取】深入浅出讲解实体关系抽取（介绍、常用算法）
热门推荐
程序星空实验室
05-18 3万+
关系抽取（Relation Extraction，简称RE）的概念是1988年在MUC大会上提出，是信息抽取的基本任务之一，目的是为了识别出文本实体中的目标关系，是构建知识图谱的重要技术环节。 知识图谱是语义关联的实体，它将人们对物理世界的认知转化为计算机能够以结构化的方式理解的语义信息。关系抽取通过识别实体之间的关系来提取实体之间的语义关系。在现实世界中，关系的提取要比实体提取复杂得多，自然句子的形式也多种多样，所以关系的提取比实体提取困难得多。
浅聊对比学习（Contrastive Learning）第一弹
Paper weekly
06-10 613
©作者 | 吴桐研究方向 | 推荐系统什么是对比学习？Metrics learning + self-supervised learning对比学习在解决什么问题？● 如何学习 representation●解决数据稀疏的问题●如何更好的利用没有label的数据未打标的数据远远多于打标的数据，不用简直太浪费了，但是要打标又是一个耗时耗力耗钱的事儿●有监督学习的缺点：...
(源码)基于深度学习的医疗信息抽取系统.zip
11-21
# 基于深度学习的医疗信息抽取系统 ## 项目简介 本项目名为“基于深度学习的医疗信息抽取系统”，旨在利用深度学习技术从医疗文本中提取关键信息，包括实体、关系、属性等。项目涵盖了多个医疗领域的信息抽取任务...
基于深度学习的中文微博评价对象抽取方法.pdf
08-19
以上知识点详细介绍了基于深度学习的中文微博评价对象抽取方法的研究背景、深度学习与传统机器学习方法的对比、具体的技术实现手段以及实验结果，为从事相关研究的读者提供了理论基础和实践经验。
毕设&课设：基于深度学习的有监督关系抽取方法.zip
最新发布
07-09
本项目基于深度学习的有监督关系抽取方法，旨在通过机器学习模型，实现从无结构文本中抽取具有特定语义关系的实体对。 在关系抽取的研究中，有监督学习方法要求有大量标注好的训练数据来训练模型，以便模型能够学习...
刘知远老师的“灵魂发问”：关系抽取到底在乎什么？
zenRRan的博客
01-02 440
点击上方，选择星标或置顶，每天给你送干货！来自：高能AI【插播】年初抽47份大奖！！新年大礼包：Xbox、Switch，PopMart芝麻街系列盲盒，小度音响，百度网盘超级会员免费领关系...
ACL2022 | 对比学习在开放域段落检索和主题挖掘中的应用
zenRRan的博客
08-16 973
每天给你送来NLP技术干货！来自：复旦DISC引言对比学习是一种无监督学习方法。它的改进方向主要包括两个部分：1.改进正负样本的抽样策略 2.改进对比学习框架 本篇主要介绍了3篇源自ACL2022的有关对比学习的文章，前2篇文章涉及开放域段落检索，最后一篇文章涉及主题挖掘。文章概览1. Multi-View Document Representation Learning for Open-dom...
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
qq_45041871的博客
05-15 810
远程监督假设任何包含相同实体对的句子都反映了相同的关系。先前的远程监督关系抽取（DSRE）任务通常独立地关注sentence-level或bag-level去噪技术，忽略了跨级别的显式交互。在本文中，我们提出了一种用于远程监督关系抽取的分层对比学习框架（HiCLRE），以减少有噪声的句子，该框架集成了全局结构信息和局部细粒度交互。
CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction
Hekena的博客
03-31 791
CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction 领域：远程监督 MIL：multi instance learning（多实例学习） 核心： 认为之前在远程监督处理上，采用注意力机制等方法，会使得包内的信息损失，另外，无论一个bag包含多少个实例，在MIL中只能使用形成的bag-level表示进行进一步训练，这是非常低效的。因此，希望采用构建正例和负例样本，充分利用bag中的i
论文阅读笔记（二）【ACL2021】知识抽取NER
qq_35222729的博客
07-29 4797
学习内容 由于刚刚进入知识图谱领域，对该领域的研究热点不是很了解，所以本文直接翻译ACL2021中关于知识抽取NER中各个论文的摘要和共享； 并且适时在最后写出自己的理解； 同时自己也会在了解完全部后给出各个论文的研究分类。 1. 题目： Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning（利用外部上下文检索和合作学习改进命名实体识别） Abstract 命名实体识别（NER
【实体识别】深入浅出讲解命名实体识别（介绍、常用算法）
程序星空实验室
05-10 2万+
命名实体识别（Named Entity Recognition, 简称NER）（也称为实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人员、组织、位置、时间表达式、数量、货币值、百分比等。命名实体识别是自然语言处理中的热点研究方向之一， 目的是识别文本中的命名实体并将其归纳到相应的实体类型中。 命名实体识别是NLP中一项非常基础的任务，是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。 从自然语言处理的
[CVPR 2022] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework
连理o的博客
01-31 1015
[CVPR 2022] Use All The Labels: A Hierarchical Multi-Label Contrastive Learning Framework
NAACL2022 对比学习论文
from top to bottom
08-16 994
目录Long papersshort papersIndustry Track[1] HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction[2] CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning[3] Cross-modal Contrati
对比学习、自监督学习的理解
qq_44317766的博客
01-25 4574
自监督学习定义： 自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息来提高学习表征的质量，通过这种构造监督信息对网络进行训练，从而可以学习到对下游任务具有价值的表征。 辅助任务（pretext）： 可以认为是一种为达到特定训练任务而设计的间接任务。pretext任务的好处是为了简化原任务的求解，在深度学习中就是避免人工标记样本，实现无监督的语义提取。Pretext任务可以进一步理解为：对目标任务有帮助的辅助任务。主要pretext task包括：图像旋转、图像着色、图像修复。 下游任务：图
基于对比学习的推荐系统模型
01-24
### 基于对比学习的推荐系统模型 #### 实现方法概述 基于对比学习的推荐系统通过构建正样本对和负样本对来训练模型，从而使得模型能够区分相似度高的物品与不相似的物品。这种方法不仅增强了模型对于用户偏好的理解能力，还提高了推荐系统的鲁棒性和准确性。 在具体实践中，通常会利用用户的交互历史作为输入特征，并从中抽取潜在因素用于形成表征向量。接着，在这些表征空间内定义距离度量函数（如余弦相似性），并通过最小化正样本之间的差异以及最大化负样本间的差距来进行优化[^2]。 #### 研究论文分析 一篇重要的研究工作探讨了如何将对比学习应用于序列化的商品推荐场景中。该研究表明，当把过去购买的商品视作上下文信息并以此为基础创建锚定点时，可以更有效地捕捉到长期依赖关系和个人兴趣变化趋势。此外，作者们提出了几种新颖的技术手段，比如动态采样机制和自适应权重分配方案，进一步提升了性能指标[^1]。 #### 示例代码展示 下面给出一段简单的Python代码片段，展示了怎样使用PyTorch框架实现一个基础版本的基于对比学习的二元分类器： ```python import torch from torch import nn, optim class ContrastiveLoss(nn.Module): def __init__(self, margin=1.0): super().__init__() self.margin = margin def forward(self, output1, output2, label): euclidean_distance = F.pairwise_distance(output1, output2) loss_contrastive = torch.mean((label) * torch.pow(euclidean_distance, 2)\ +(1-label)*torch.pow(torch.clamp(self.margin-euclidean_distance,min=0),2)) return loss_contrastive model = ... # Define your model here criterion = ContrastiveLoss() optimizer = optim.Adam(model.parameters(), lr=learning_rate) for epoch in range(num_epochs): for i, data in enumerate(training_loader): img0, img1 , label = data optimizer.zero_grad() output1,output2 = model(img0,img1) loss_contrastive = criterion(output1,output2,label) loss_contrastive.backward() optimizer.step() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值