论文核心总结与翻译
一、主要内容
本文聚焦Transformer在马尔可夫动态函数的上下文学习(ICL)机制,通过线性自注意力(LSA)模型展开理论与实证分析。核心围绕三方面展开:1)构建马尔可夫动态函数ICL的解析框架,刻画单层LSA在短链场景下的损失景观全局最小值;2)证明单层LSA恢复最优Transformer参数的问题是NP难,揭示其结构局限性;3)阐释多层LSA的前向传播等价于多目标优化,为深层模型的性能优势提供理论支撑,并通过数值实验验证上述结论。
二、创新点
- 首次针对马尔可夫动态序列的ICL场景,建立严格凸的重参数化目标函数,给出全局最小值的解析表达式,揭示其与独立同分布回归任务不同的稠密结构特性。
- 证明单层LSA在任意长度马尔可夫链学习中存在“可实现性缺口”,即使最优解在扩展空间中明确,参数恢复仍为NP难,明确其结构限制。
- 提出多层LSA的新解释——前向传播等价于求解包含平方损失和多个线性目标的多目标优化问题,解释了深层模型在结构化动态学习中的优势。
三、核心部分翻译(Markdown格式)
Abstract
Transformer架构凭借上下文学习(ICL)能力,可基于提示中的输入-输出对解决未见过的任务。现有关于ICL的理论研究主要集中于独立同分布输入的线性回归任务。为理解Transformer在建模动态驱动函数时如何实现ICL,我们通过结构化ICL设置研究马尔可夫函数学
订阅专栏 解锁全文
1307



被折叠的 条评论
为什么被折叠?



