- 博客(3)
- 收藏
- 关注
RSS订阅原创 从核函数角度深度理解线性注意力Linear Attention
本文探讨了从映射函数到核函数在注意力机制中的应用，从核函数的角度分析了线性注意力机制。首先介绍了通过映射函数将低维数据升维以提高相似度计算精度的方法，随后引入核函数来简化高维相似度的直接计算。重点分析了注意力公式与核函数的关联，指出原始矩阵乘法计算复杂度高的问题，提出通过分解核函数为多个串行计算来降低复杂度。最后推导了近似计算方法，将原始公式转化为向量形式，并讨论了不同映射函数的设计选择。这些方法为优化注意力机制的计算效率提供了理论支持。
2025-12-19 19:26:58
305
原创 CROHME数据集详解
注释"Closest Strk" 代表了与数学表达式中的符号或运算符最相关的笔迹，当处理 $x^{2M} + x^{M-1}$ 这个手写表达式时， "Closest Strk" 注释可以帮助系统准确地将每个笔迹与表达式中的变量、指数、加号等元素进行关联，对于最终得到正确的数学公式非常关键。重要的是type=true，表示这个注释记录了数学表达式的正确形式，$x^{2M}+x^{M-1}$表示公式的LaTeX格式。表示引用前面trace标记的id号为0的单条笔迹，在这里id为0和1的笔迹构成了x；
2024-04-27 18:20:04
1535
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人