EcoTransformer：无需乘法的注意力机制

EcoTransformer：无需乘法的注意力机制

Transformer及其缩放点积注意力机制已成为现代AI的基础架构。然而，该机制计算密集且能耗较高。研究提出新型Transformer架构EcoTransformer，其输出上下文向量通过使用拉普拉斯核对值向量进行卷积构建，其中距离采用查询向量与键向量之间的L1度量。与基于点积的注意力相比，新型注意力分数计算无需矩阵乘法。在自然语言处理、生物信息学和视觉任务中，其性能与缩放点积注意力相当甚至更优，同时显著降低能耗。

技术特点：

• 使用拉普拉斯核卷积替代矩阵乘法
• 采用L1度量计算查询-键距离
• 在多项AI任务中保持性能优势
• 能耗显著低于传统注意力机制

实验验证：
论文通过8页篇幅及1张图表证实，该架构在保持模型性能的同时，实现了计算效率的突破性提升。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码