Gemini、ChatGPT、Claude 大比拼：谁才是视频理解王者？-优快云博客

AI 视频理解能力测试背景

人工智能在理解提示、文档文本和图像方面表现出色，但对于视频理解能力如何呢？为了探究这个问题，对 ChatGPT、Claude 和 Gemini 进行了测试，以了解它们对 YouTube 视频和本地文件内容的理解程度。测试使用了三个视频，包括关于退火科学过程的 YouTube 视频、DJI Neo 2 无人机的动态测试 MP4 视频以及关于 YouTube 发布策略的 MOV 本地视频文件。测试的模型有每月 20 美元的 ChatGPT Plus 套餐、每月 20 美元的 Gemini Pro 套餐，以及每月 100 美元的用于 Claude Code 的 Claude Max 套餐。

Claude：无法处理视频

Claude 完全无法直接处理视频。Claude 表示：“我无法直接观看视频内容。我不能观看视频，没有处理 YouTube 链接中的视频或音频内容的能力，也无法处理 MP4 文件的视觉或音频帧。对于 .mov 文件也是同样的情况——我无法直接观看或收听。我不处理视频或音频流。”

Gemini：可处理多种视频格式

Gemini 无需运行独立应用程序，其网页界面就能很好地理解所有视频格式，包括 YouTube URL、625MB 的 MP4 文件和 1.65GB 的 MOV 文件。在无人机测试视频中，视频无音频且无其他背景信息，Gemini 能准确判断测试者的动作。此外，Gemini 还成功理解了退火视频和边走边聊视频。不过，Gemini 在从理解模式转换到 Nano Banana 图像模式时表现不佳，虚构了留着胡子的男人放在图片里，还拼错单词。若想快速了解视频内容或对其提问，Gemini 是首选；但要从视频中创建有深度的图像，Gemini 目前还胜任不了。

ChatGPT：需 Codex 协助

ChatGPT 本身在测试中无法读取 YouTube 链接，理论上能理解视频但要求视频大小在 500MB 以下。不过，将 OpenAI Codex 应用程序与 ChatGPT 结合使用，能实现一些功能。Codex 能读取本地文件并理解其含义，对于无人机测试视频和边走边聊 MOV 文件都能理解。Codex 起初无法处理边走边聊视频内容，请求安装 Python 代码和库进行音频转录后，能观看并理解视频上下文。它还能自动编写 Python 脚本下载 YouTube 视频。在创建缩略图方面，Codex/ChatGPT 比 Gemini 做得更好，采用了特定配色方案，使用了测试者的图像，但在铝条部分存在问题。经过多次提示修正，能得到较好的缩略图效果。

AI 视频观看能力总结

AI 能够在比视频实际播放时间短得多的时间内完全解读视频，且展现出相当强大的解读能力，如对无声的无人机测试视频能理解其内容。这些能力有实际用途，如快速浏览监控摄像头视频、提取视频主要要点等，还可用于创建 YouTube 缩略图。总体而言，对 Gemini 以及 ChatGPT 和 Codex 的组合在视频观看能力方面的表现印象深刻。尽管 Claude 在这次测试中表现不佳，但它在氛围编码方面仍有价值。