OpenAI 推出 GPT-4o：实现多模态 AI 交互

一、前言

OpenAI 推出了其最新的 AI 模型——GPT-4o，此次发布的并非 GPT-4.5 或 GPT-5，而是一款全新的“全模态模型(Omnimodel)”。这是一个将文本、语音和视觉能力集成到单一无缝 AI 体验中的突破性发展。 GPT-4o 于 2024 年 5 月 14 日发布，其中的 “o” 代表 “omni”，预示着人机交互方式的一次重大变革，使得交互过程更加自然和直观。

GPT-4o 能够直接理解语音和视觉输入，并在语音模式下与用户进行实时交互，无需像之前那样先将音频转换为文本再生成回复，因此 ChatGPT 的语音回复速度得到了显著提升。

Altman 在他的博客文章中探讨了 GPT-4o 作为人机交互界面的潜力。以下是他对 GPT-4o 语音和视频功能的见解：

GPT-4o 显然还没有达到电影《Her》中的智能水平（或像 Skynet 那样的高级智能），但它已经超越了现有的所有模型，并在效率上迈出了重要的一步（OpenAI 并未透露他们是如何做到的）。GPT-4o 的出现也打破了人们的普遍看法，即 GPT-4 类型的模型已经是大型语言模型所能达到的最高水平。许多人在这一点上似乎都判断错了。

我对 GPT-4o 的初步印象可以归纳为三点：

• 首先，将全球最顶尖的 AI 模型免费提供给公众，这一举措是其他公司难以匹敌的，它彻底改变了我们对今年 AI 领域发展趋势的所有预测。
• 其次，GPT-4o 的语音和视频功能，如果真如演示中所展示的那样，能够模拟人类的举止、情感以及实时的节奏，这将使我首次真正考虑将其作为一个助手来使用。
• 第三，如果 OpenAI 能够与苹果达成合作，成功地将 GPT-4o 集成到设备中，取代现有的 Siri，那么对于 Google、Meta、Anthropic 等其他竞争者来说，无疑是一个巨大的挑战。

二、关于 GPT-4o

GPT-4o 在 GPT-4 的基础上进行了升级，保持了相似的智能水平，同时在文本、语音和视觉处理上都取得了显著进步。 OpenAI 的首席技术官 Mira Murati 在一次直播演示中指出了这一进步的重要性：“GPT-4o 能够同时处理语音、文本和视觉信息，这对于我们未来与机器的互动方式至关重要。” 相较于之前的 GPT-4 Turbo 加强版，GPT-4o 通过整合语音功能，将语音集成到多模态模型中，进一步拓宽了应用范围。 现在，用户可以更加自然地与 ChatGPT 进行互动，享受到即时的反馈和动态参与的能力。GPT-4o 甚至能够识别语音的微妙变化，并以不同的情感风格生成回应，包括唱歌。

GPT-4o 能够提供高效的学习辅导 : OpenAI 邀请了可汗学院的可汗和他儿子一起使用了 GPT-4o 辅导孩子在可汗学院上做数学题，一步步启发纠正，各种鼓励，比普通家长辅导效果可能真的要好不少！

GPT-4o 能够提供高效的学习辅导

GPT-4o 具有多语言交互能力 : 用户可以通过 GPT-4o 学习西班牙语，并且利用其实时翻译功能进行语言学习和交流。

GPT-4o 具有多语言交互能力

2.1、ChatGPT 中增强的用户体验

最值得注意的增强之一是 OpenAI 的 AI 驱动的聊天机器人 ChatGPT 中改进的体验。 ChatGPT 平台原有的语音模式，通过文本到语音模型 (text-to-speech) 转录聊天机器人的响应，现在已得到显著升级。

借助 GPT-4o，用户可以提出问题并获得更具互动性和情感响应的答案。该模型的实时能力使用户能够在对话期间无缝地打断或调整对话内容。

GPT-4o 不仅可以有效地提供直接答案，还可以通过有限数量的示例推理问题，使其成为一种通用且强大的语言模型。

此外，GPT-4o 进一步增强了 ChatGPT 的视觉识别功能，用户可以上传照片或屏幕截图，ChatGPT 能够迅速回答相关问题，比如识别商标或解读软件代码。

这项技术预计将不断进步，未来可能使 AI 能够“观看”实时事件，并提供解说或评论。

2.2、多语言和音频处理能力的飞跃

GPT-4o 支持约 50 种语言（占世界人口的 97%！），并在性能上进行了显著提升。它在速度上是 GPT-4 Turbo 的两倍，成本降低了一半，同时提高了使用频率限制。尽管新的音频功能最初将只对少数受信任的合作伙伴开放，但预计不久将向更广泛的用户开放。

2.3、GPT-4o 在语音翻译领域的突破

GPT-4o 在语音翻译方面取得了新的重大进展，在 MLS 基准测试中超越了 Whisper-v3。

这一进步尤为重要，因为它展示了 GPT-4o 实时理解并生成文本、音频和视觉信息的能力，使其成为一个真正的全模态 AI 模型。

将 Whisper 技术整合进 GPT-4o，可能在提升其性能方面起到了关键作用，尤其是在所有语言的延迟和语音识别能力上，包括那些资源较少的语言。

这一进步标志着 AI 技术的巨大飞跃，预示着一个更加包容和易于接近的 AI 环境，能够通过打破语言障碍，满足全球多样化受众的需求。

2.4、M3Exam 基准测试中的表现

M3Exam 基准测试是一项全面的评估工具，用于测试模型理解和回答多语言官方考试问题的能力，包括需要处理图像的问题。在 M3Exam 基准测试中，GPT-4o 在所有语言中的表现都优于上一代模型 GPT-4。

这一提升表明 GPT-4o 在处理多语言文本方面的能力得到了增强，即使是在资源较少和使用非拉丁字母的语言中，以及它在处理和理解视觉信息方面的能力。

但是，需要注意的是，由于斯瓦希里语和爪哇语的视觉问题数量有限，因此省略了视觉结果。

这表明在评估和提升模型处理更广泛语言的视觉信息性能方面，仍有提升空间。

M3Exam 基准测试是评估语言模型如 GPT-4o 的进展和局限的有价值工具，它强调了多语言和多模态理解在实现更全面和包容性 AI 方面的重要性。

2.5、GPT-4o 的可用性和访问

GPT-4o 现已在 ChatGPT 的免费版以及 OpenAI 的高级 ChatGPT Plus 和团队计划的订阅者中提供，这些用户享有更高的消息限额。改进后的 ChatGPT 语音体验将在下个月为 Plus 用户推出测试版。面向企业的服务将随后推出。

随着新模型的推出，OpenAI 也更新了 ChatGPT 的网页用户界面，引入了更加对话式的首页和消息布局。现在，macOS 版本的 ChatGPT 桌面应用已经可用，Windows 版本计划在今年晚些时候推出。

GPT-4o-macos

2.6、为免费用户提供更多功能

GPT Store，即 OpenAI 提供的第三方聊天机器人库和创建工具，现在已经对 ChatGPT 免费版用户开放。

此外，之前需要付费的功能，如记忆功能、文件和照片上传以及网络搜索，现在已经向所有免费用户开放。

2.7、技术进步

GPT-4o 是 OpenAI 首个能够使用同一神经网络处理文本、视觉和音频输入输出的模型，从而实现更精细和集成的响应。该模型能够在短短 232 毫秒内响应音频输入，平均响应时间为 320 毫秒，与人类对话速度相当。此前，语音模式需要一系列独立的模型来完成转录和生成响应的任务。

GPT-4o 通过模态的端到端训练，能够直接感知并响应语调变化、多说话者情况和背景噪音，从而提供更加丰富的交互体验。

2.8、GPT-4o 的演示和未来潜力

在发布会上，OpenAI 通过各种演示展示了 GPT-4o 的能力，包括帮助用户在公开演讲前平复心情、分析面部表情以评估情绪等。该模型可以用不同的情感语气讲故事，甚至可以唱歌。

OpenAI 还在不断探索 GPT-4o 的潜力，例如解决数学问题、辅助编程以及充当翻译器等。GPT-4o 为开发人员和用户提供了一个强大的工具集，使其成为市面上其他 AI 助手的有力竞争者。

2.9、行业影响与伦理思考

OpenAI 的这一进步发生在一个竞争激烈的市场中，像 Microsoft 和 Google 这样的行业巨头也在争夺生成式 AI (Generative AI) 市场的领导地位。这些高级模型的快速进步和应用引发了关于技术影响及其潜在滥用的伦理担忧。

为了降低这些风险，OpenAI 计划首先向可信合作伙伴提供 GPT-4o 的音频功能，并强调了透明度和用户教育的重要性。公司致力于在探索复杂的伦理问题的同时，使 AI 交互更加自然和友好。

三、主要特性与创新

1）、卓越性能：GPT-4o 在人工智能性能上树立了新的标杆，其性能领先前一代顶尖模型 GPT-4 turbo 60 个评分点。这一进步使得 GPT-4o 在众多竞争模型中脱颖而出，如 Gemini 1.5 Pro、Claude 3 和 Llama 3–70B（The News International）（OpenAI）。

上图是来自 LMSys arena 的 Elo 评分图表。 LMSys arena 是一个用于评估大型语言模型性能的平台，通过让不同的模型相互竞争来确定其排名。 图中用红色圈出的 “im-also-a-good-gpt2-chatbot” 模型，正是 OpenAI 最新推出的 GPT-4o（“全模态(Omni)”）模型。

GPT-4o 的 Elo 评分比之前的顶级模型 GPT-4 turbo 高出 60 分，远远超过了 Gemini 1.5 Pro、Claude 3 和 Llama 3–70B（分别位列第 4、5、7 名） 等竞争对手。 虽然 GPT-4o 的性能提升令人惊叹，但这并非本次发布的重点。

2）、多模态功能：GPT-4o 最革命性的特点之一是其原生的多模态交互能力，能够流畅地处理和生成文本、音频、语音、视频和图像的响应。这一进步让我们向科幻小说中所描绘的 AI 助手迈进了一大步，它们能够进行实时互动并具有情感反应。

3）、可获取性与定价：OpenAI 采取了一项必将广受欢迎的举措，即向所有用户免费提供 GPT-4o。这一决策颠覆了现有的 AI 商业模式，竞争对手通常对不太先进的模型收取高额的订阅费用。ChatGPT Plus 用户仍将享有更高的使用限额（如提升至原限额的五倍）和优先访问权，但 GPT-4o 的核心功能将免费向所有人开放（The News International）（OpenAI）。GPT-4o API 比 4-turbo 快 2 倍且便宜 50%，这一变化立即使我们的解决方案整体增值（同样的结果，但速度更快、成本更低！）。

4）、效率与速度：GPT-4o 不仅功能更强，而且运行速度是 GPT-4 turbo 的两倍，成本却只有一半，这使得它成为开发者和企业在整合高级 AI 功能时的一个更具吸引力的选择（Engadget）。

四、总结

OpenAI 的 GPT-4o 是 AI 技术变革性的进步，它将文本、音频和视觉整合成一个协调且反应灵敏的模型。这一进展预示着 AI 交互将变得更加自然、吸引人且易于接触，为多模态 AI 系统设定了新的标杆。随着 GPT-4o 向用户和开发者的推广，它对 AI 应用和用户体验的影响将是深远和广泛的。

参考资料：

[1]. https://blog.samaltman.com/gpt-4o

[2]. https://www.thenews.com.pk/latest/1188659-openai-launches-gpt-4o-important-features-to-know

[3]. https://openai.com/gpt-4

[4]. https://www.engadget.com/gpt-4-turbo-is-openais-most-powerful-large-language-model-yet-211956553.html

[5]. https://www.windowscentral.com/software-apps/openais-sam-altman-and-bill-gates-interview