【模型复现】零样本预测文本分类模型——ESM 快速复现模型

原创

已于 2022-05-10 15:00:58 修改 · 2k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能

于 2022-05-09 15:52:53 首次发布

本文档提供了Facebook AI Research的ESM（Embedding of Sequence Motifs）模型的快速复现教程，该模型基于Transformer，用于蛋白质序列的无监督学习。通过在大规模蛋白质序列数据上训练，ESM-1v模型展示出在零样本预测任务中的优秀性能，证明了预训练语言模型可以捕捉到生物领域的知识。复现步骤包括环境准备、模型配置及训练数据的准备。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ESM

快速复现教程

01 镜像详情

镜像简介：

这篇论文《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences》 .是2019年2月的文章，发布在biorxiv上。代码中包括来自 Facebook AI Research 的 Transformer 蛋白质语言模型的代码和预训练权重，包括我们最先进的 ESM-1b 和 MSA Transformer。并且论文中介绍了 Transformer 蛋白质语言模型。介绍了一个新的蛋白质语言模型ESM-1v，它具有与目前最先进的突变预测模型相媲美的零样本预测的能力，说明了使用大量多样的蛋白序列数据训练的语言模型可以在无需监督式学习的情况下预测蛋白功能的实验测量结果。模型在零样本场景的泛化说明了大型预训练语言模型捕获领域知识的潜力，这可能有助于生成新的功能蛋白。

应用场景：文本分类、文本匹配、文本生成

论文地址：

https://www.biorxiv.org/content/10.1101/622803v4