为什么生成式AI不擅长同时做两件事？

当下生成式 AI 以其惊人的能力不断吸引着我们的目光，从撰写连贯文本到生成奇幻图像，它似乎无所不能。然而，一个显著的局限却如影随形：当涉及到同时执行多种任务，特别是跨不同模态（如文本与图像）的任务时，生成式 AI 往往显得力不从心。这一现象引发了广泛的关注与思考，究竟是什么原因导致了生成式 AI 在多任务处理上的困境？

一、表面现象与实际困境

从表面上看，生成式 AI 模型（LLM的擅长与不擅长：深入剖析大语言模型的能力边界）如 OpenAI 的 GPT-4 和 Stability 的 DALL.E 等，在各自擅长的单模态任务中表现出色。GPT - 4 能够生成逻辑连贯、语法正确的文本，而 DALL・E 则可以根据描述创造出视觉上引人入胜的图像。当我们单独使用它们时，仿佛看到了人工智能无限的潜力。然而，一旦尝试让它们协同工作，完成诸如生成一幅 “蓝色巴士在星夜下行驶” 的图像，并同时提供一段与之相关的独特描述性叙述这样的多模态任务时，问题便接踵而至。

结果往往是图像与描述之间存在着明显的不一致性。图像中的巴士可能更像是一种抽象的技术产物，而描述却仅仅是对 “城市景观中的交通” 的肤浅评论。这种看似简单的跨模态任务组合，却让生成式 AI 陷入了困境，使得其输出结果远未达到我们预期的和谐与连贯。这表明，尽管单模态任务中的成功令人瞩目，但在多模态任务中，生成式 A