该研究探讨了预训练变换器模型的规模效应，指出模型形状对微调性能的重要性。作者揭示了不同计算区域的缩放行为，并认为常用的T5-base和T5-large尺寸效率低下。他们提出改进的缩放策略，实现了参数减少和训练速度提升。研究提供了100多个预训练模型以促进进一步分析。
论文名称：Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
论文链接： https://www.aminer.cn/pub/614bf07e5244ab9dcbc5d5f7?f=cs
本文主要讨论了预训练和微调变换器的规模效应。关于变换器架构的扩展行为，仍有许多悬而未决的问题。本文的主要发现如下：(1)作者表明，除了模型大小之外，模型形状对下游微调也很重要，（2）缩放提议在不同的计算区域以不同的方式运行，(3) 广泛采用的T5-base和T5-large尺寸是帕累托低效的。为此，作者提出了改进的缩放提议，作者重新设计的模型可以通过这些提议实现类似的下游微调质量的同时：参数减少50%、并且与广泛采用的T5-base模型相比，训练速度提高了40%。作者公开发布100多个不同T5配置的预训练模型，以方便未来的研究和分析。
AMiner,让AI帮你理解科学！https://www.aminer.cn
AMiner论文推荐
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
