论文笔记 | Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers

最新推荐文章于 2025-07-31 23:45:40 发布
原创 最新推荐文章于 2025-07-31 23:45:40 发布 · 532 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

介绍

常规Transoformer的计算复杂度是O(L2d)O(L^2d)O(L2d)，空间复杂度是O(L2)O(L^2)O(L2)，在长序列的情况下，比如基因序列的处理，序列长度LLL太大会导致计算成本大到难以接受。

本文提出Fast Attention Via Orthogonal Random features (FAVOR)方法，在不改变原先transformer模型架构的前提下，高效地估计出attention矩阵，时间复杂度为O(Ld2log⁡d)O(Ld^2\log d)O(Ld

最低0.47元/天 解锁文章
详解Bert中的Masked Language Model
AI天才研究院
08-21 1800
作者：禅与计算机程序设计艺术 1.简介 BERT（Bidirectional Encoder Representations from Transformers）是Google于2018年提出的一种预训练语言模型，可以生成可用于各种自然语言处理任务的神经网络模型。其最大特点就是采用双向Transform
mask language model 的具体实现及思路详解
weixin_43231756的博客
10-24 635
对于bert-base-uncased,bert-base-chinese,roberta等模型预训练中的mask language model的实现
掩码语言模型（Masked Language Model, MLM）
m0_70066267的博客
07-31 6288
掩码语言模型（MLM）是一种自监督学习技术，其核心思想是在不依赖显式标注数据的情况下，通过遮蔽输入文本中的部分词汇，迫使模型利用剩余的上下文信息来预测这些被遮蔽的词汇。这种训练方式使模型能够学习到词汇之间的语义关系和上下文依赖，从而提升其在各种NLP任务中的表现。在MLM中，输入文本的一部分词汇会被随机替换为特殊标记（如[MASK]），或者采用其他方式如替换为随机词汇或保持不变（在BERT中，这种策略被称为“遮蔽策略”，其中80%的词汇被替换为[MASK]，10%被替换为随机词汇，剩余10%保持不变）。
【论文泛读】ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language
是木子啦~
08-23 696
论文：ERNIE-Gram: Pre-Training with Explicitly N-Gram Masked Language Modeling for Natural Language Understanding 2020.10 NAACL 2021 百度 本篇论文实验做的很详尽。以下内容主要包括摘要、引言、方法、实验、总结。 1、摘要 粗粒度的语言信息，如命名实体或短语，有助于在预训练时进行充分的表征学习。以前的工作主要集中在扩展BERT的掩码语言建模(MLM)目标，从屏蔽单个标记到n个连续序列的
Masked Language Modeling for Proteins via LinearlyScalable Long-Context Transformers
weixin_44251938的博客
03-07 445
摘要 transformer模型已在各种领域中取得了最先进的结果。 但是，对训练注意力机制以学习远程输入之间的复杂依存关系的成本的担忧不断增加。利用学习的注意力矩阵的结构和稀疏性的解决方案出现了。 但是，涉及长序列的实际应用（例如生物序列分析）可能无法满足这些假设，从而无法探索这些模型。 为了解决这一挑战，我们提出了一种基于快速随机正交特征（FAVOR）的新型Transformer架构，Performer。 我们的机制在token中的token数量上线性缩放，而不是平方缩放，其特征在于亚二次空间复杂度，并且
Masked Language Modeling -- MLM
Rebecca_Yuan's BLOG
06-19 700
BERT, MLM
论文笔记|CVPR2023:Supervised Masked Knowledge Distillation for Few-Shot Transformers
Bluebro的博客
04-25 3306
这篇论文的题目是 用于小样本Transformers的监督遮掩知识蒸馏 论文接收： CVPR 2023 1.将类标签纳入自监督知识蒸馏中，以填补自监督与监督学习之间的空白，从而有效地利用自监督学习的优势来缓解监督训练的过度拟合问题； 2.在 类(全局) 和 patch(局部) 级别上都制定了监督对比损失，允许在 类 和 patch tokens 上进行类内知识蒸馏，以学习到效果更好的小样本Transformer模型； 3.引入跨类内图像遮掩patch tokens重建的挑战性任务，以提高模型泛化性能。
Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
qq_42208244的博客
01-14 2073
提出了视觉自回归建模（VAR）[Visual AutoRegressive modeling]，这是一种新的生成范式，将图像上的自回归学习重新定义为由粗到细的“下一个尺度预测”或“下一个分辨率预测”，不同于标准的光栅扫描“下一个像素预测”。这种简单直观的方法允许自回归（AR）变压器快速学习视觉分布，并具有良好的泛化能力。VAR模型的扩展表现出类似于LLMs的明确幂律扩展规律，线性相关系数接近-0.998，作为坚实的证据。VAR还展示了在下游任务中的零样本泛化能力，包括图像修补、外扩和编辑。
【自监督论文阅读笔记】Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation
YoooooL_的博客
10-17 2026
在30亿参数的Swin V2-G模型上，在ADE20K语义分割和COCO目标检测上，微调精度分别提高了+1.5 mIoU / +1.1 mAP到 61.4 mIoU / 64.2 mAP，在两个基准上都创造了新纪录。通用性和可扩展性是至关重要的，因为它们不仅使预训练适合广泛的可视化任务，而且允许训练过的网络充分利用更大的模型容量和更大的数据。最近，掩码图像建模(MIM) [4，1，45，17 MAE] 在微调评估[1，45，17]中 取得了显著的性能，并引起了广泛的关注。，就像MIM产生的那些表示一样。
论文阅读Vision-Language Models for Vision Tasks A Survey思维导图
11-16
VLMs的预训练目标包括对比式目标、masked image modeling、masked language modeling和masked cross-modal modeling等。这些目标都是为了学习图像和文本之间的关系。 VLMs的下游任务 VLMs可以应用于各种下游任务，...
Masked Language Modeling用于光谱分类模型
weixin_35755823的博客
12-23 491
Masked Language Modeling(MLM)是一种自然语言处理任务，它的目的是预测句子中被“mask”(隐藏)的词的潜在值。为了训练MLM模型，我们通常会在输入句子中随机挑选一些词并把它们替换成特殊的“[MASK]”标记。然后，我们会让模型预测这些被“mask”的词的原始值。 在光谱分类模型中，我们可以使用MLM来帮助我们更好地理解光谱数据。例如，我们可以训练MLM模型来预测光谱数据...
Masked Language Modeling 近红外光谱
weixin_35752645的博客
12-23 434
Masked Language Modeling (MLM) 是一种自然语言处理任务，它的目的是训练语言模型来预测被遮盖的词语，以便在进行文本生成或其他任务时更准确地预测语言。 在 MLM 中，输入文本中的一些词语会被遮盖，然后用语言模型来预测这些被遮盖的词语。为了使模型学习语言的语法和语义，通常会在训练过程中使用大量的文本数据。 近红外光谱与 MLM 没有直接关系，它是一种光谱技术，用于测量物体...
自然语言处理中的maskedlanguagemodel
AI天才研究院
01-25 1832
1.背景介绍 1. 背景介绍 自然语言处理(NLP)是计算机科学和人工智能领域的一个重要分支，旨在让计算机理解、生成和处理人类语言。自然语言处理的一个重要任务是语言模型，即预测给定上下文的下一个词的概率。传统的语言模型通常需要大量的人工标注数据，但这种方法存在一些局限性，如数据收集和标注的困难、数据不均衡等。 近年来，随着深度学习技术的发展，基于神经网络的语言模型逐渐成为主流。这类模型可以自...
Mark 一下论文链接 AAAI 2020《An Iterative Polishing Framework based on Quality Aware Masked Language Model》
weixin_42252147的博客
04-15 336
#Mark 一下论文链接，我要把他祖传下去。 https://arxiv.org/abs/1911.13182
掩码语言模型(MLM)技术解析：理论基础、演进脉络与应用创新
最新发布
拒绝AI玄学，只聊真技术▲
07-31 1568
在微调阶段，模型不会遇到[MASK]标记，而BERT通过部分保留原始词和引入随机替换，使模型学会根据真实上下文重建目标词，而非过度依赖[MASK]标记。，其核心思想是通过随机掩盖输入序列中的部分词汇，让模型基于上下文预测被掩盖的原始词汇，从而学习语言的。不同，MLM允许模型同时利用目标词左右两侧的上下文信息进行预测，实现了真正的。N-gram掩盖：“使 用[M][M][M][M] 来 [M][M]…全词掩盖：“使 用 语 言 [M][M]来 [M][M]…
文献阅读：Should You Mask 15% in Masked Language Modeling?
codename_cys的博客
02-27 1374
文献阅读：Should You Mask 15% in Masked Language Modeling? 1. 内容简介 2. 实验考察 1. mask比例考察 2. corruption & prediction 3. 80-10-10原则考察 4. mask选择考察 3. 结论 & 思考 文献链接：https://arxiv.org/pdf/2202.08005.pdf 1. 内容简介 这是前段时间看到的陈丹琦女神的新工作，刚好凑上她获得斯隆奖，就下载下来看了一..
Transformers预训练模型使用：语言建模 Language Modeling
HMT的博客
01-10 3925
语言建模是一个将模型拟合到一个语料库的任务，这个语料库可以是特定领域，也可以是通用领域。所有主流的、基于transformer的模型（跟这个包transformers不是一个东西）都使用了语言建模的变体任务进行训练。如BERT，使用掩码语言建模（masked language modeling），GPT-2是用的是因果语言建模（causal language modeling）。 除了用于预训练，预原建模在迁移模型领域时也很有用。比如将一个在超大语料库中训练完成的预训练模型微调到一个新数据集上。 掩码语言建
【Transformer】RANDOM FEATURE ATTENTION
qq_40731332的博客
03-04 2255
ICLR 2021 Spotlight:https://openreview.net/forum?id=QtTKTdVrFBB 摘要： Transformer的核心是attention function，它建模了输入在每个时间间隔之间的关系。 由于attention的二次时间和空间复杂度，导致它不能有效处理长序列。 本文提出RFA，一种线性时间和空间复杂度的注意力机制，使用随机特征去近似softmax function，并且探索它在transformers中的应用。 RFA通过可选的门控机制（g.
Random Features for Large-Scale Kernel Machines阅读
ResumeProject的博客
02-19 1624
Efficient Transformers: A Survey Perfomer论文:RETHINKING ATTENTION WITH PERFORMERS 本文中提到： Random Features for Large-Scale Kernel Machines To accelerate the training of kernel machines, we propose to map the input data to a randomized low-dimensional feature
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值