柏拉图式表征：人工智能深度网络模型是否趋于一致？

人工智能模型是否正在向现实的统一表征演进？柏拉图表征假说认为，人工智能模型正在趋同。

麻省理工学院最近的一篇论文引起了我的注意，因为它提出了一个令人印象深刻的观点：人工智能模型正在趋同，甚至跨越了不同的模态–视觉和语言。“我们认为，人工智能模型，尤其是深度网络中的表征正在趋同”，这是 The Platonic Representation Hypothesis (https://arxiv.org/abs/2405.07987)论文的开头。

但是，在不同数据集上针对不同用例训练的不同模型如何趋同？是什么导致了这种趋同？

柏拉图的洞穴寓言 Jan Saenredam（https://en.wikipedia.org/wiki/Allegory_of_the_cave#/media/File:Platon_Cave_Sanraedam_1604.jpg） 著

1.柏拉图表征假说

我们认为，在不同的神经网络模型中，数据点的表示方法越来越相似。这种相似性跨越了不同的模型架构、训练目标，甚至数据模式。

source: https://arxiv.o