m0_58869724的博客

翻译 ELA（Efficient Local Attention）注意力机制

2024年出了一个新的随插随用的注意力机制ELA(Efficient Local Attention)。ELA-B 和 ELA-S 在具有更深结构的网络上表现最佳。文中总结了CA模块的不足之处并针对CA的缺点提出了ELA模块。