2025_NIPS_Kiki or Bouba? Sound Symbolism in Vision-and-Language Models

文章总结与翻译

一、主要内容

该研究聚焦于视觉-语言模型（VLMs）是否能体现语言中的“声音象征”现象（即语音与意义间的非任意关联，如经典的“kiki-bouba效应”：人们倾向将尖刺状物体命名为“kiki”，圆形物体命名为“bouba”）。

1. 研究核心问题：CLIP（判别式模型）和Stable Diffusion（生成式文本到图像模型）等VLMs是否从训练数据中习得语音与视觉语义的关联。
2. 研究方法：
   • 构建受控假词库：基于语音属性将英语字母分为“尖锐类”（如p、t、e、i）和“圆形类”（如b、m、o、u），生成两类假词（各324个），并包含经典假词“kiki”和“bouba”。
   • 零样本知识探测：利用CLIP的多模态嵌入空间，通过几何分数（γ）衡量假词与“尖锐/圆形”视觉属性的关联，通过语音分数（φ）量化假词与真实形容词的语义相似度。
   • 定量评估（AUC、Kendall相关系数）、定性分析（生成图像特征）及用户研究（假词-图像匹配任务）验证结果。
3. 核心发现：
   • VLMs显著体现声音象征：Stable Diffusion生成的图像中，“尖锐类假词”更易产出尖刺状物体，“圆形类假词”更易产出圆形物体；CLIP的文本嵌入能区分两类假词与对应视觉属性。
   • 结果与人类认知一致：用户研究中，73%的受试者能正确匹配“kiki/bouba”与对应图像，55%能匹配随机