推荐使用TUPE：改变预训练语言模型的定位编码方式

推荐使用TUPE：改变预训练语言模型的定位编码方式

TUPETransformer with Untied Positional Encoding (TUPE). Code of paper "Rethinking Positional Encoding in Language Pre-training". Improve existing models like BERT.项目地址:https://gitcode.com/gh_mirrors/tu/TUPE

项目简介

TUPE（Transformer with Untied Positional Encoding） 是一个基于论文《Rethinking Positional Encoding in Language Pre-training》实现的开源项目，该论文重新思考了在预训练语言模型中使用的位置编码策略。TUPE通过改进标准Transformer中的位置编码，可以在GLUE基准测试上显著超越其他基线模型，并且只需使用其30%的预训练计算资源。

技术分析

TUPE的核心是引入了“未绑定的位置编码”（Untied Positional Encoding）。它修改了fairseq库中的transformer_sentence_encoder.py和multihead_attention.py，使得每个头部可以拥有独立的位置编码信息，而不是所有头部共享。这种改变允许模型更灵活地学习位置依赖的信息，从而提高性能。此外，由于改动简单，你可以轻松地将TUPE应用于你的任何Transformer模型。

应用场景

1. 预训练模型优化：TUPE特别适用于BERT-Base这样的常见预训练模型，但也可以扩展到RoBERTa、ELECTRA和UniLM等更大规模的模型，进一步提升这些模型的表现。
2. 自然语言处理任务：在文本分类、情感分析、机器翻译、问答系统等各种NLP任务中，采用TUPE能增强模型对序列位置的理解，从而提高整体性能。

项目特点

1. 性能提升：在GLUE基准测试上，TUPE表现优于其他基础模型，同时大幅降低了预训练成本。
2. 代码简洁：基于fairseq构建，仅需对两个核心文件进行简单修改，即可实现未绑定的位置编码。
3. 易于集成：无论是小型还是大型的Transformer模型，都可以快速方便地整合TUPE方法。
4. 资源友好：尽管性能优秀，但TUPE对于计算资源的需求相对较低。

安装与使用

安装要求包括Python 3.5+，PyTorch，NVIDIA的apex库以及NCCL（用于多节点分布式训练）。从源码安装：

git clone https://github.com/guolinke/TUPE
cd TUPE
pip install --editable .

数据预处理、预训练和微调的详细步骤都在项目文档中提供，可以直接运行相关脚本进行操作。

如果你正在寻找一种能够提升Transformer性能并降低成本的创新方法，那么TUPE无疑是一个值得尝试的优秀选择。立即加入社区，一起探索这个强大的技术吧！

参考文献：

@inproceedings{
ke2021rethinking,
title={Rethinking Positional Encoding in Language Pre-training},
author={Guolin Ke and Di He and Tie-Yan Liu},
booktitle={International Conference on Learning Representations},
year={2021},
url={https://openreview.net/forum?id=09-528y2Fgf}
}

TUPETransformer with Untied Positional Encoding (TUPE). Code of paper "Rethinking Positional Encoding in Language Pre-training". Improve existing models like BERT.项目地址:https://gitcode.com/gh_mirrors/tu/TUPE