yingdajun的博客

Aapter-transformers库包尝试使用，感觉这个库包的用于做模型轻量化效果不是很大，降低内存不多，不是很实用。调用第三方库包#coding=utf-8import numpy as npimport pandas as pdimport osimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_s

Impossible Triangle: What’s Next for Pre-trained Language Models?不可能的三角：预训练语言模型的下一步是什么？机构: 微软认知服务研究小组摘要:大规模预训练语言模型（PLM）的最新发展极大地提高了模型在各种NLP任务中的能力，即在特定任务微调和零次/少次学习后的性能。然而，许多这样的模型都具有惊人的巨大规模，很少有机构能够承担预培训、微调甚至部署的费用，而中等规模的模型通常缺乏强大的通用性少镜头学习能力。在本文中，我们首先从不可能三角

On the Evaluation of NLP-based Models for Sofware Engineering基于自然语言处理的软件工程模型评价研究摘要基于NLP的模型越来越多地被用于解决SE问题。这些模型要么在SE域中使用，几乎没有变化，要么根据源代码及其独特特性进行了大量定制。其中许多方法被认为优于或补充了现有的解决方案。然而，这里出现了一个重要的问题：这些模型在SE社区中是否得到了公平一致的评估？。为了回答这个问题，我们回顾了研究人员如何评估基于NLP的SE问题模型。研究结果表明，目

LinkBERT: Pretraining Language Models with Document LinksLink BERT：带有文档链接的预训练语言模型源码位置:https://github.com/michiyasunaga/LinkBERT摘要语言模型（LM）预训练可以从文本语料库中学习各种知识，帮助下游任务。然而，现有的方法（如BERT）对单个文档建模，并且不能捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，这是一种LM预训练方法，利用文档之间的链接，例如超链

Hierarchical Transformer Model for Scientific Named Entity Recognition科学命名实体识别的层次变换模型Github 地址:https://github.com/urchade/HNER摘要:命名实体识别是关系抽取、知识图构造等自然语言处理系统的重要组成部分。在这项工作中，我们提出了一种简单有效的命名实体识别方法。我们方法的主要思想是使用一个预先训练好的转换器（如BERT）对输入子词序列进行编码，然后，在子词表示中添加另一层转换器，

VLP: A Survey on Vision-Language Pre-trainingVLP：视觉语言预训练研究综述论文地址:https://arxiv.org/pdf/2202.09061.pdf摘要:在过去几年中，训练前模型的出现将计算机视觉（CV）和自然语言处理（NLP）等单峰领域带入了一个新时代。大量工作表明，它们有利于下游单峰任务，避免从头开始训练新模型。那么，这种预先训练好的模型可以应用于多模式任务吗？研究人员已经探索了这个问题，并取得了重大进展。本文综述了视觉语言预训练（VLP）

论文《PYTEXT: A SEAMLESS PATH FROM NLP RESEARCH TO PRODUCTION》学习总结Abstract阐述工作内容写了一个基于pytorch的模型部署文件框架，该框架可以调和算法工程师快速实验和大规模服务模型部署之间的矛盾创新点1.为模型组件提供简单可扩展的接口2.利用pytorch导出模型以便送入caff2模型进行推断3.同时构建多个单任务模型，通过上述的模块，确定共享的模型参数，进行共同的研究，可以对于多个任务使用一个或者多个输入表示联合训练模型I