IS-BERT:An Unsupervised Sentence Embedding Method byMutual Information Maximization

已于 2022-04-25 09:53:03 修改
阅读量1.4k 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理
于 2022-04-20 18:19:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/asd8705/article/details/124303980
版权
该博客介绍了IS-BERT模型的详细信息及其在自然语言处理任务中的应用。作者探讨了模型的训练过程，展示了如何利用该模型进行文本分类，并分享了代码实现的链接，帮助读者理解并实践BERT在信息抽取中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

An Unsupervised Sentence Embedding Method by Mutual Information Maximization
Young, Simple, Naive
05-28 342
IS-BERT: 基于句子表示与局部 n-gram 表示互信息最大化来进行无监督句子表示学习
无监督领域迁移及文本表示学习的相关进展
Paper weekly
09-29 1791
©作者｜邴立东、何瑞丹、张琰、李俊涛、叶海单位｜阿里巴巴达摩院、新加坡国立大学等摘要随着基于 transformer 的预训练语言模型的广泛应用，多种自然语言处理任务在近一两年来都取得了...
IS-BERT:互信息最大化的无监督语句嵌入方法（EMNLP2020）
05-23
首先安装 pip3 install -e . 训练 python3 examples/training/nli/unsupervised_training_nli.py 致谢 代码改编自EMNLP19论文和ICLR19论文“
I-BERT
cyz0202的博客
06-20 822
I-BERT
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
myl1992的专栏
04-15 1094
ESimCSE：用于无监督句子嵌入对比学习的增强样本构建方法 Xing Wu 1,2,3 , Chaochen Gao 1,2 ∗ , Liangjun Zang 1 , Jizhong Han 1 , Zhongyuan Wang 3 , Songlin Hu 1,2 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, Universi
论文笔记（5.17,文本抗击,word）--Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text
weixin_43301333的博客
05-17 536
一种不怎么novel的攻击方法 self： 1.rank word importance是重要的 2.替换词选择语义相仿的 3.越是困难的下游任务，越是strong的模型·，生成的攻击样本质量越高
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5211
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
论文精读系列-2022.03.11
qq_37069937的博客
07-24 363
句子表征学习见闻
what is BERT?
路飞DoD的博客
01-12 1248
ncoderransformer来自Transformer的双向编码器表征基于上下文（context-based）的嵌入模型。那么基于上下文（context-based）和上下文无关（context-free）的区别是什么呢？pythonPython​ 可以发现，同一个单词在不同句子的不同位置的含义可能是不同的，我们希望两个句子中的Python的词嵌入向量有不同的表征，那么就称是基于上下文（context-based）的。
11_BERT（预训练Transformer模型）
brawly的博客
02-02 1459
BERT（预训练Transformer模型）
Tianchi发布最新AI知识树！
Datawhale
02-13 886
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货来源：Tianchi，方向：AI内容近期Tianchi开放了9大训...
ACL 2021｜美团提出基于对比学习的文本表示模型，效果提升8%
美团技术团队
06-03 1976
总第455篇2021年 第025篇尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文...
自然语言处理——Mutual Information Maximization
m0_37876745的博客
01-24 911
Mutual Information Maximization https://github.com/yanzhangnlp/IS-BERT
多模态大语言模型arxiv论文略读（九十八）
Jamence的博客
05-29 1000
➡️ 研究动机：为了提高多模态情感识别的准确性和细致度，研究团队提出了MicroEmo，一个时间敏感的MLLM，旨在关注面部微表情的时间动态和话语感知视频片段的上下文依赖性。4) 通过微调LLMs的少量参数来选择最终的实体。该方法通过动态聚合模态特定和模态无关的LoRA专家，部分解耦多模态生成空间，从而在不显著增加参数的情况下，提升模型的多模态生成能力。➡️ 问题背景：当前的多模态生成模型在视觉文本理解与生成任务中表现出色，但同时生成图像和文本时，由于视觉和语言模态之间的固有不一致性，通常会导致性能下降。
【NLP基础知识系列课程-Tokenizer的前世今生第五课】从静态到可学：Tokenizer 的自适应演化之路
刘炫320的博客
05-27 909
Vokenization 是一个跨模态的 token alignment 方法，为每个文本 token 匹配一个“视觉 embedding”，形成“视觉 token”或“voken”。在 NLP 或多模态任务中，我们一直使用固定的分词器（如 BPE、WordPiece）在训练前将文本分为 token。但这是一种静态方式，与模型参数解耦，与任务目标无关。Tokenizer，不再只是“tokenizer”，而是人工智能系统的输入分配器（Input Orchestrator）。是新的 token 表示。
大语言模型(LLM)入门 - (1) 相关概念
最新发布
三月桃城的博客
05-31 812
TiaoYu-1是一个面向初学者的开源大语言模型(LLM)自学项目，具有代码注释完善、训练流程完整的特点。该项目覆盖预训练、监督微调(SFT)、人类反馈强化学习(ELHF)、LoRA微调等全流程，并配有详细原理文档。项目提供从基本概念到模型构建、再到具体实现的系统学习路径，包含分词器、注意力机制、损失函数等核心模块的代码与文档说明，特别适合LLM入门者按步骤学习。项目还涉及FlashAttention、MOE网络等前沿技术，并提供了多个可选学习模块，为学习者构建了完整的知识体系。
【n-grams】基于统计方法的语言模型
weixin_43098506的博客
05-28 1123
基于统计学的 n-grams 语言模型
IS-BERT：基于互信息最大化的无监督语句嵌入技术
同时，文件名称 "IS-BERT-main" 暗示了主代码库可能位于该目录下，是核心代码和文件的主要存放位置。 ### 总结 IS-BERT模型在无监督学习领域展示了语句嵌入的新思路，并通过互信息最大化来改善句子的表示。其在预...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值