o3-mini 编程实测,一条python程序引发近400万围观!

 Datawhale分享 

编程能力:o3-mini,编辑:机器之心

AI 圈的头条被 DeepSeek 承包了十几天,昨天,OpenAI 终于坐不住了,推出了全新推理模型系列 o3-mini。不仅首次向免费用户开放了推理模型,而且相比之前的 o1 系列,成本更是降低了 15 倍之多。

OpenAI 也称这是其推理模型系列中最新、最具成本效益的模型:

e905158ed920d89c659e6fdaab641a13.png

刚刚上线,已经有网友迫不及待的拿它和席卷整个大模型圈的国产大模型 DeepSeek R1 进行对比了。

前段时间,AI 社区开始沉迷用 DeepSeek R1 和其他(推理)模型比拼这个任务:「编写一个 Python 脚本,让一个球在某个形状内弹跳。让该形状缓慢旋转,并确保球停留在形状内。」

这种模拟弹跳球的测试是一个经典的编程挑战。它相当于一个碰撞检测算法,需要模型去识别两个物体(例如一个球和一个形状的侧面)何时发生碰撞。编写不当的算法会出现明显的物理错误。

在 DeepSeek R1 席卷国内外热搜,微软、英伟达、亚马逊等美国云计算平台争先恐后引进 R1 的同时,R1 也在这个任务中完成了对 OpenAI  o1 pro 的碾压。

再看 Claude 3.5 Sonnet 和谷歌的 Gemini 1.5 Pro 的生成结果,DeepSeek 旗下的开源模型高出的确实不只是一个 level。

c50eb9c23827767e8e601858cf51db0b.gif

然而,在 o3-mini 上线后,剧情似乎一夜反转了,比如这个帖子宣称 OpenAI o3-mini 碾压了 DeepSeek R1。目前已引发近 400 万网友围观。

0df557263e212c1850645d09ff2db987.png

该开发者用的 prompt 是:"write a Python program that shows a ball bouncing inside a spinning hexagon. The ball should be affected by gravity and friction, and it must bounce off the rotating walls realistically"

也就是分别让 o3-mini 和 DeepSeek R1 写一个球在旋转的六边形内弹跳的 python 程序,小球跳动的过程中要遵循重力和摩擦力的影响。最后的展示效果如下:

d816082e49ee47e001bfba2190616182.gif

从效果来看,o3-mini 把碰撞、弹跳效果展示的更好。从对重力和摩擦力的理解来看,DeepSeek R1 版本的小球似乎有点压不住牛顿的棺材板了,完全不受重力控制。

这并非个案,@hyperbolic_labs 联合创始人 Yuchen Jin 在此之前也发现了这个问题,他分别向 DeepSeek R1 和 o3-mini 输入了提示词:write a python script of a ball bouncing inside a tesseract(编写一个 Python 脚本,模拟一个球在四维超立方体内部弹跳)。

四维超立方体的每个顶点与四条棱相邻,每条棱则连接两个立方体。四维空间内的几何图形超出了人类的直观感知范围,所以听着这些描述,我们可能很难想象出一个四维超立方体长什么样子。

而 o3mini 不仅展现出了稳定的几何结构,小球在四维空间内弹跳的运动轨迹也较为灵活,有撞到立方体侧面的打击感。

6a8b4e73c51268c2bd78473d8c1e9665.gif

再来看 DeepSeek R1 这边,它对四维超立方体的形状理解似乎还不够深入透彻。同时,小球在其中的运动轨迹也显得有些诡异,有一种「飘忽不定」的感觉。

87ff83afd74e681b73e0c2e62fdc0a72.gif

据 Yuchen Jin 称,他试了很多次,所有用 DeepSeek R1 尝试都比一次性的 o3-mini 要差,比如下面这次就剩下球了。

54b349b05addea998a05f911c7cc0baf.gif

机器之心也亲测了一把,同样是 Pass@1 测试,DeepSeek R1 这次是既有球又有几何外框了,甚至小球还会变换颜色色,遗憾的是,它把四维超立方体简化成了三维空间坐标轴。

210af5b1886b619256e968e8f0d9db3d.gif

o3-mini 的表现则有些「买家秀」的意味,明明和 Yuchen Jin 输入的是完全一样的提示词,为什么 o3-mini 就不会了?得不到如上所示的「卖家秀」了呢?

63c74fa227b74c9caff83c6b17283b43.gif

看来,在生成小球在几何外框内跳动的程序这方面,DeepSeek R1 并不是完全是 o3-mini 的手下败将。

AIGC 从业者 @myapdx 用了一个更加复杂的同类提示词来测试 o3-mini 和 DeepSeek R1:编写一个 p5.js 脚本,模拟 100 个彩色小球在一个球体内部弹跳。每个小球都应留下一条逐渐消失的轨迹,显示其最近的路径。容器球体应缓慢旋转。请确保实现适当的碰撞检测,使小球保持在球体内部。

o3-mini 的效果是这样的:

f17bc4aa99a9b2a30618d2b077970cbc.gif

提示词里的这么多项要求:在球体内部弹跳、留下逐渐消失的轨迹、容器缓慢旋转......o3-mini 都完美满足。

而 DeepSeek R1 的效果,好像也没差到哪里去:

51f228d1cd5f1826ab627b524d8a6c76.gif

至于为什么会出现这样的差异,Yuchen Jin 和 @myapdx 都在帖子中提到,这个任务对模型如何理解真实世界的物理规律有所反应。模型需要综合自己对语言、几何、物理和编程的理解,方能得出最后的模拟结果。从前两轮的结果看来,o3-mini 有可能是物理学得最好的大模型。

与此同时,OpenAI 也在昨天的发布博客中强调过,在博士极科学问题方面 o3-mini-low 的表现优于 o1-mini。o3-mini-high 的表现与 o1 相当,在博士级生物学、化学和物理问题上都有显著进步。

对人类来说,理解小球跳动时的重力和摩擦力并不算困难,但在大语言模型领域,这种对物体物理状态的「世界模型」理解能力,直到最近才真正突破。

还有网友猜测,DeepSeek R1 的程序有时只有一个球,会不会是它想得太多了?

不知是否有读者亲自体验过?欢迎讨论。

65e2fe96ddbf672a1bddb894de07f257.png

参考链接:

https://x.com/flavioAd/status/1885449107436679394

https://x.com/iamRezaSayar/status/1885760491466997791

https://x.com/Yuchenj_UW/status/1885416559029740007

https://x.com/Yuchenj_UW/status/1885472365309833382

bde32df6a7fcfcd5dea141b405c24f87.png

### ChatGPT O3-Mini 模型的特点与应用场景 ChatGPT O3-Mini 是 OpenAI 推出的一款轻量级语言模型,旨在提供高效的推理和生成能力。该模型特别适用于需要快速响应和低资源消耗的应用场景,在保持性能的同时显著降低了计算开销[^2]。 #### 特性分析 O3-Mini 模型具备以下核心特性: - **高效推理能力**:相比更大规模的模型,O3-Mini 在推理速度上表现出色,能够在毫秒级别内完成响应,适合对延迟敏感的任务。 - **低资源占用**:由于其较小的参数规模,O3-Mini 在部署时对硬件的要求较低,可以在嵌入式设备或资源受限的服务器环境中运行。 - **良好的语言理解能力**:尽管体积较小,O3-Mini 依然能够处理较为复杂的自然语言任务,如文本摘要、意图识别和基础问答系统。 - **多语言支持**:O3-Mini 支持多种编程语言和自然语言,使其在国际化或多语言环境中具有广泛适用性。 #### 应用场景 O3-Mini 的设计目标是满足高吞吐量和低延迟的需求,因此其典型应用场景包括: - **实时客服系统**:在对话机器人中,O3-Mini 可以快速理解用户问题并生成准确的回答,提升用户体验。 - **边缘计算设备**:适用于物联网(IoT)设备中的本地化智能助手,例如智能家居控制、语音交互等。 - **API 调用服务**:作为后端语言模型,用于构建轻量级 API 服务,提供快速的语言理解和生成功能。 - **开发者工具集成**:可嵌入代码编辑器或调试工具中,为开发者提供即时的代码建议或错误解释。 #### 与其他模型的对比 O3-Mini 相较于其他模型(如 O1 和 O3-mini-high)有明显差异: - **与 O1 模型对比**:O1 模型专注于深度推理和复杂逻辑任务,例如数学证明和算法设计,而 O3-Mini 更注重响应速度和效率,适用于轻量级任务。 - **与 O3-mini-high 对比**:O3-mini-high 提供了更高的精度和更长的上下文处理能力,但牺牲了部分响应速度和资源效率,相比之下,O3-Mini 更适合部署在资源受限的环境。 ```python # 示例:使用 O3-Mini 实现简单的意图识别 def classify_intent(text): # 假设调用 O3-Mini 的 API 进行意图分类 response = o3_mini_api_call(f"Classify the intent of the following text: {text}") return response["intent"] ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值