南京大学团队让AI学会“专家模式“：一种能同时处理多种信息和任务的强化学习新架构

这项由南京大学吴文浩、刘福红、李浩如、胡子灿等研究者与悉尼科技大学董道毅教授合作完成的研究，发表于2025年6月的arXiv预印本平台。有兴趣深入了解的读者可以通过论文编号arXiv:2506.05426v1访问完整论文。

想象一下，如果你面前有一个超级聪明的机器人助手，它不仅能听懂你说话，还能看懂你的手势，甚至理解你的表情。更厉害的是，当你让它做不同类型的工作时——比如今天要它帮你做饭，明天要它辅导孩子写作业，后天要它整理花园——它都能快速适应并做得很好。这就是这项研究想要实现的目标：让人工智能系统具备这样的"万能适应力"。

在人工智能领域，有一种叫做"强化学习"的技术，就像教小孩学骑自行车一样——通过不断尝试、犯错和改进来学会新技能。最近几年，研究者们发现了一个有趣的现象：如果让AI系统观察一些相关的示例或"提示"，它就能更快地学会处理新任务，这就像给学生一些参考资料，让他们更容易理解新概念一样。这种技术被称为"情境强化学习"。

不过，现有的情境强化学习系统面临着两个主要挑战。第一个挑战就像是让一个人同时处理多种完全不同类型的信息。比如，你要一边听音乐、一边看图片、一边读文字，这些信息的性质完全不同，大脑需要用不同的方式来处理它们。在AI系统中，状态信息（比如机器人的位置）、动作信息（比如机器人应该做什么）和奖励信息（比如做得好还是不好）就像这些不同类型的信息，它们有着截然不同的特征，但传统系统往往用同一套方法来处理它们，效果并不理想。

第二个挑战则像是让一个老师同时教授数学、语文、体育和音乐课程。每门课程都有自己的特点和要求，如果用完全相同的教学方法，必然会出现问题。比如教数学时强调逻辑推理，教体育时注重动作协调，这些技能甚至可能相互冲突。AI系统也面临类似问题：当它需要学会处理多种不同类型的任务时，传统的单一模型往往会在不同任务的要求之间产生冲突，导致学习效率下降。

为了解决这些问题，南京大学的研究团队提出了一个创新的解决方案，他们称之为T2MIR（Token- and Task-wise MoE for In-context RL）。这个名字听起来很专业，但其核心思想其实很直观：就像组建一个专家团队，让不同的专家负责处理不同类型的工作。

这个系统的设计哲学