2、结构化表示学习：现状与未来方向

结构化表示学习：现状与未来方向

1. 引言

现代人工智能领域中，人工神经网络在追求先进性能时面临着样本效率和泛化能力的巨大挑战。

1.1 动机：样本效率与泛化能力的差距

现代人工神经网络为达到先进性能，往往需要海量的训练数据。以AlphaGo为例，其人类对手李世石在训练生涯中约进行了10万场围棋比赛，达到了9段的最高段位；而AlphaGo则从近1亿甚至更多的比赛中学习。若以每页字母代表一场比赛，人类玩家只需约30页，而AlphaGo则需要近3万页，是本书篇幅的150多倍。

在更可控的实验环境中，Brendan Lake等人的研究表明，人类只需两小时就能学会有效玩一系列Atari游戏，而现代深度强化学习代理则需要相当于924小时的游戏时间才能达到相同水平。

不仅强化学习代理如此，大型语言模型（LLMs）也需要大量数据。例如，Google的早期LLM LaMBDA训练于1.56万亿个从公共对话和文本中提取的标记。按照平均英语非虚构阅读速度（约每分钟240个单词）计算，人类需要不间断阅读18550年（每天16小时）才能摄入相同数量的数据。即使是最近的GPT - 4模型，据传训练于近13万亿个标记，相当于人类阅读超过15万年。

此外，现代语言模型和图像生成模型在泛化能力上也与人类存在巨大差异。以DALL - E 2为例，尽管它能生成高度逼真的图像，但在理解文本提示中物体间的基本关系时却表现不佳。相比之下，小孩虽无法绘制出如此复杂的图像，但能正确画出如香蕉拿着猴子这样简单关系的简笔画。这体现了Moravec悖论，即人工智能中“难题容易，简单问题难”。

1.2 结构化表示的前景

深度学