大模型鹈鹕骑车名场面，一场持续两年的趣味AI评测

关注

原创最新推荐文章于 2026-11-04 10:23:50 发布 433 阅读 AI 写同款· GEO 优化 ›

GLM-5.1开源大模型：从鹈鹕测试看代码生成与工程化部署大语言模型（LLM）的核心原理是通过海量数据训练，学习语言和代码的统计规律与语义关联，实现文本生成、代码补全等能力。其技术价值在于将自然语言指令转化为可执行代码或复杂解决方案，极大地提升了开发效率和创意实现门槛。在应用场景上，LLM广泛应用于智能编程助手、动态内容生成、自动化测试与调试等领域。本文以智谱AI开源的GLM-5.1模型为例，通过其成功通过“鹈鹕测试”——生成带动画的SVG代码并完成多轮调试——展示了开源大模型在**代码理解**与**工程实践**上的突破。该模型采用宽松的MIT许可证，支持私有化部阅读详情

P.S. 目前国内还是很缺AI人才的，希望更多人能真正加入到AI行业，共同促进行业进步，增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程传送门http://blog.youkuaiyun.com/jiangjunshow，教程通俗易懂，高中生都能看懂，还有各种段子风趣幽默，从深度学习基础原理到各领域实战应用都有讲解，我22年的AI积累全在里面了。注意，教程仅限真正想入门AI的朋友，否则看看零散的博文就够了。

1. 这题一看就不是人出的

2024 年 10 月，英国程序员 Simon Willison 干了一件缺德事：他让 16 个大模型画同一张图——鹈鹕骑自行车。

就一句提示词：

Generate an SVG of a pelican riding a bicycle.

翻译过来：请你画一只鹈鹕，骑着自行车。

听起来挺正常？那你先自己画一个试试。大概率你会当场发现两件事：第一，自行车那几根杆子到底怎么连的，你根本记不清；第二，鹈鹕长什么样，你也说不上来。你现在就可以拿张纸试试，画完发朋友圈，评论区大概率会有人问：这车能上路吗？

Simon 选鹈鹕是有讲究的。第一，他住海边，天天看鹈鹕，是真喜欢。第二，也是最关键的——他确定互联网上没有任何「鹈鹕骑自行车」的 SVG 文件，模型在训练数据里绝对没见过这玩意儿。换句话说，这道题没法作弊，全靠现场发挥。

这事最搞笑的地方在于：大模型是文字模型，它不会画画，但 SVG 是代码，它会写代码。于是剧情变成——让一个睁眼瞎，凭坐标和半径把形状硬拼出来，全程不知道自己画成了什么样。

打个比方，这就像让一个从没进过厨房的人，闭着眼睛凭菜谱做满汉全席。做完端上桌，你还不能说他，因为他真的尽力了。

更损的是，SVG 支持注释，而模型几乎都有写注释的强迫症：

<!-- 这是一个车轮 -->
<circle cx="50" cy="50" r="40" />
<!-- 这是车架，绝对没画错 -->
<line x1="20" y1="80" x2="80" y2="80" />
<!-- 鹈鹕：忘了画 -->

注释相当于把草稿纸一起交了上来。你本来想看它画得怎么样，结果先看到了它的心路历程，落差全是笑点。

2. 2024 年的鹈鹕：全是车祸现场

头几个月的画作，我愿称之为大型翻车巡回展。

2.1 各家的选手都长啥样

Claude 3.5 Sonnet：两个圆，中间连一个三角形，喙是一根黄色的香蕉笑脸。怎么说呢，像小学生交上来的简笔画，而且那个小学生看起来不太高兴。

Llama 3.3 70B：一个小圆圈，一根竖线，还有一个形状像水槽的东西。水槽？对，就是水槽。它可能想画自行车，结果画了个洗手台。

Qwen2.5-Coder：几块棕色的形状叠在一起，看着像台拖拉机。谁家自行车长这样？你骑一个我看看。

Mistral Small 3：一只矮胖的白鸭子，蹲在一副杠铃上。这不是鹈鹕，这是健身房门口贴的减肥海报。

2.2 让股市崩盘的那只鹈鹕

2025 年 1 月 DeepSeek 发布 R1，之后英伟达市值掉了六千亿美元。Simon 把 R1 画的鹈鹕单独拎出来，起了个外号：让股市崩盘的那只鹈鹕。

说实话，这只已经算优等生了。自行车能看出来是自行车，旁边有只鸟勉强像鹈鹕，唯一的瑕疵是——它没在骑车。鸟站在自行车旁边，像车展上请的模特，跟车一点关系都没有。

这一年下来，鹈鹕们从一堆色块，慢慢进化成能认出来的东西。更有意思的是，画得好不好，跟模型真实能力强不强，居然对得上。画得好的模型，写代码干活也确实更利索。

Simon 说这个测试本来是个玩笑，用来嘲笑「拿模型互相比较」这件事有多荒唐。结果玩笑越玩越像真的，最后变成了一场正经赛事。

3. 560 局锦标赛，裁判时薪低得吓人

2025 年 6 月，Simon 手里攒了 34 张鹈鹕，想排个名次，又懒得一张张自己看。于是他让 Claude 写了个小工具：把任意两张鹈鹕并排放在一个网页上截图。

34 张图两两配对，一共 560 场对决。每一场交给 GPT-4.1 mini 当裁判，让它选出「更好的鹈鹕骑自行车插画」，顺便写一句理由。最后用 Elo 积分排名。

3.1 裁判费是多少钱

整个裁判过程，花了大约 18 美分。

18 美分。560 场比赛，每场还附赠评语。这性价比，比某些外包客服还高，关键它干活还不带情绪。

冠军是 Gemini 2.5 Pro 的一个预览版，垫底的是 Llama 3.3 70B。裁判给这俩的对决写的评语是：左边明显画了一只鹈鹕在骑自行车，右边只是几个极简的形状，看不出在画什么。

翻译一下：左边是鹈鹕，右边是艺术。

3.2 顺便算了个账

同一场演讲里，Simon 还算了一笔账：o1-pro 画一只鹈鹕花了 88.755 美分，Gemini 2.5 Pro 画一只花了 4.77 美分——画出来还是 Gemini 更好。

贵的不一定好，便宜的不一定差。这条规律放哪儿都成立，包括相亲。

4. 模型开始有脾气了

2025 年 8 月，Simon 在笔记本上跑了一个 4B 的小模型 Qwen3-4B-Thinking。这模型没画自行车，画了一个蓝色的圆，上面盖了一行红字：

This is art - pelicans don't ride bikes!

翻译：这是艺术，鹈鹕不骑车！

这是全行业第一个敢怼甲方的模型。翻译一下就是：这活我接不了，但我也不能承认我接不了，所以我说这是艺术。

4.1 加州褐鹈鹕，其实不是褐色的

11 月 Gemini 3 发布，低推理档位下画出来的鹈鹕戴了顶小帽子，SVG 注释里写着「帽子（可选趣味细节）」。

注意「可选」两个字。说明它脑子里在盘算：戴上吧，万一加分呢。

高档位下车架总算画对了。Simon 觉得题目开始不够难，当场升级：要画加州褐鹈鹕，自行车必须有辐条、车架必须正确，鹈鹕要有大喉囊、要能看出羽毛、要明确在蹬踏板，还要画出繁殖期的羽色。他还附了一张自己拍的照片。

结果，好几家模型都没抓到一个关键细节：加州褐鹈鹕其实不是棕色的。

这就像老婆饼里没有老婆，加州褐鹈鹕也不是褐色的。照片都怼到脸上了还能看错，这已经不是眼神问题，是审美问题。

5. 笔记本上的小模型，干翻了旗舰

2026 年 4 月 16 日，阿里的 Qwen3.6-35B-A3B 和 Anthropic 的 Claude Opus 4.7 同一天发布。Simon 用一个 20.9GB 的量化版在自己 MacBook 上跑 Qwen，又用官方 API 跑 Opus。

5.1 结果

Qwen 赢了。

Opus 把车架画错了，换最高推理档位再来一次，还是错。Simon 都替他尴尬。

这个结果把 Simon 自己都搞疑心了。网上一直有人说，各家实验室在偷偷针对他这个「愚蠢的测试」做训练。他本来不太信，这次决定烧掉一道备用题：画一只骑独轮车的火烈鸟。

5.2 火烈鸟之战

Qwen 的火烈鸟：戴着墨镜，系着领结，嘴里好像还叼着根烟，旁边两个爱心表情夹着一行字「独轮车上的火烈鸟」。代码注释里写着「给火烈鸟戴上墨镜！」。

这哪是火烈鸟，这是佛罗里达退休老大爷，还是刚从赌场出来的那种。

Opus 画了只规规矩矩的火烈鸟，评语是：没有一丁点花头。像班里那种所有作业都按时交、但毫无存在感的同学。你说他错吧，没有；你说他出彩吧，也没有。

这局还是 Qwen 赢。Simon 话说得很实在：他很尊重 Qwen，但真不信一个 21GB 的量化模型比 Anthropic 最新的旗舰更有用。只是如果你要的恰好是一张鹈鹕骑车的 SVG，那此刻笔记本上的 Qwen 确实比 Opus 4.7 靠谱。

从这天起，鹈鹕画得好不好，和模型强不强，开始对不上了。

6. 发明它的人亲自说：别当真

2026 年 7 月 Kimi K3 发布，Simon 照例让它画鹈鹕。这只鹈鹕消耗了 13241 个推理 token，成本 25 美分。

13241 个 token。人家画鹈鹕，它写论文。25 美分买一张鹈鹕，比楼下自动售货机的可乐还便宜，而且比可乐更有营养——至少它不会让你胖。

6.1 这个测试还能教我们什么

Simon 在文章里专门写了一节结论：这个测试已经 21 个月了，从来就不是一个好的评测。头一年它和模型真实水平的相关性惊人，现在基本断了。

证据很硬：GLM-5.2 画的鹈鹕比 GPT-5.6 和 Claude Fable 5 都好，但没人觉得 GLM 是 Fable 那个级别的模型。更要命的是，鹈鹕完全测不到今天最要紧的能力——模型能不能在长对话里稳定调用工具。

他的原话：别拿鹈鹕去比较模型。

那他为啥还在画？两个理由。第一，逼自己真的去用新模型：贴出一只鹈鹕，就证明他确实跑通了这个模型，不是光看了发布会。第二，哪怕一句提示词，也能暴露不少东西。Kimi K3 那次他就发现：这句只有八个单词的提示，被算成了 95 个输入 token；发一个「hi」也要 86 个。背后大概藏了一段 85 个 token 的系统提示。

你看，你以为你在跟模型说话，其实你是在跟一个戴着耳机的接线员说话，他背后还坐着个监工。