人工智能模型是否正在向现实的统一表征演进?柏拉图表征假说认为,人工智能模型正在趋同。
麻省理工学院最近的一篇论文引起了我的注意,因为它提出了一个令人印象深刻的观点:人工智能模型正在趋同,甚至跨越了不同的模态–视觉和语言。“我们认为,人工智能模型,尤其是深度网络中的表征正在趋同”,这是 The Platonic Representation Hypothesis (https://arxiv.org/abs/2405.07987)论文的开头。
但是,在不同数据集上针对不同用例训练的不同模型如何趋同?是什么导致了这种趋同?
柏拉图的洞穴寓言 Jan Saenredam(https://en.wikipedia.org/wiki/Allegory_of_the_cave#/media/File:Platon_Cave_Sanraedam_1604.jpg) 著
1.柏拉图表征假说
我们认为,在不同的神经网络模型中,数据点的表示方法越来越相似。这种相似性跨越了不同的模型架构、训练目标,甚至数据模式。
source: https://arxiv.o