
产品迭代策略:少预判,多测试
7月24日,Anthropic发布了关于Claude 5上下文工程的最新规则,针对Opus 5、Fable 5等新模型,Claude Code的system prompt被大幅精简,删除了超过80%的原有指令,具体可参考量子位文章《Claude Code狂删80%提示词,Opus 5反手加回去了》。针对此次变化,Boris在访谈中分享了自己的产品迭代策略:不要去猜模型需要什么指令,根本猜不对。能做的就是一行行去删除、测试,然后找到模型反复卡住的地方。“你得把模型想成一个活的生物,一种更有机的东西。每一代模型的行为都不一样,性格都略有不同,你得花时间去了解它,然后据此调整harness。”因此,这对Boris而言更偏向“经验性”,需用科学的态度对待:不加预判地尝试,查看结果,迭代,重复。而在这样一个不断推倒重来的世界里,Eval也未必能稳定使用。尽管它确实比harness和prompt耐用,但眼下模型进化太快,很多时候一套评测会被很快刷到满分。所以需要观察模型到底在哪不断挣扎,然后设计新的Eval。
“产品悬余”与“解缚”思维
访谈中,Boris分享了“Product Overhang”(悬余)的概念,他认为这对做产品很有帮助。大模型以不连续的跳跃式速度跃迁,而产品集成却以连续的增量式节奏推进,这导致模型所具备的能力总会超出现有产品所能释放出的边界。Boris举了个例子:2024年底sonnet 3.5刚推出时,这个模型就已经能一次性写整个文件的代码了,但当时的编程产品Copilot、Cursor早期版还在做补全代码这样的小事。拥有完整终端权限的Claude Code一定程度上弥补了这种差距,这也是Boris提出的第二个概念“Unhobbling”(解缚),即拿掉限制。他分享了Anthropic内部的案例:有人尝试给Opus 5接入OpenCV(全球最大开源计算机视觉库),结果发现模型能自己画出人物肖像、动物风景,而此前从未训练过模型去画画。这就是“模型激发”(model elicitation),在不改变模型权重的前提下,通过提示词、上下文、工具或产品形态的设计,让模型表现出它本已具备、但此前未被调用的能力。尽管这里或许存在疑问:如何归因,究竟是模型被激发出了原本就具备的能力,还是模型因为“脚手架”设计而学会了新的技能?不过这或许并不重要,Boris毫不怀疑此间存有巨大的商业机会:“我不是说所有创业公司都能抓住。但我知道有人在思考这些问题,这里真的有巨大的机会,能从模型身上激发出那些令人惊叹、有趣、而且有商业价值的行为。”为此,Boris提出了三条模型“解缚”方法。第一,给模型比想象中更难做的任务,描述清楚目标、边界和退出条件,然后放手。第二,多去做实验,允许模型做一些尝试。第三,让模型自己验证成果。如今的重点已不是“prompt engineering”,问题在于“当你给Claude分配了一个非常困难的任务之后,你怎么让它在过程中就去验证自己做的工作?”Boris认为第三点可能是如今大家做得最不尽如人意的一件事,因为如果模型不能自我验证任务,就无法长时间独立运行。他自己的例子也许能给大家启发:Boris:“好吧,我要你做的是——把Electron应用重写成Swift。我要你在Mac虚拟机里运行Electron应用,截屏,然后逐像素对比,跟Swift版本比,没做完就不要停。”主持人:“这就是你的prompt?”Boris:“这就是我的prompt。”主持人:“跑了多久?”Boris:“还在跑。”主持人:“什么时候开始的?”Boris:“已经跑了两个多星期了,大概14天、15天吧……Claude还决定做直播,它做的事情是在内部建了一个Slack频道,然后每隔几分钟就发一张进度截图。”
给AI使用者和创业者的建议
在访谈末尾,主持人问:那么,Boris,我们要怎么才能像你一样用好Claude呢?Boris表示,最重要的是别去听LinkedIn上那些网红说的,别去刷Twitter。关于使用AI,“每个人都在找那种‘奇技淫巧’。但根本就不存在那种东西,没有那种东西。”他建议大家用经验主义方式对待模型,忘掉过去对旧模型的经验和课堂上学的计算机科学理论,直接观察模型在哪里卡壳,再针对性调整。所以它已经不是一门理论科学了,它已经变成了一门经验科学。那些特别擅长放下自己的先验,放下“以前不行”的想法,愿意再试一次的人,会非常成功。更重要的是保持一种心态,即放下对模型的“控制欲”,把模型当同事一样相处,不过度指定,不做太具体的要求,不试图让模型完全按照你会做的方式去做任务,因为“模型不是那样工作的”。
给编程学习者的建议
对于还在学习编程的人,Boris呼吁不要只学纯计算机科学理论,要学如何应用。例如他本人最初学习编程的动力也是为了在数学考试中作弊。通常这关乎创业、做产品、培养设计感和商业感,学会做数据科学,学会跟用户对话……当把它们和计算机科学、工程结合起来的时候,才会变得真正有价值。总之,“先做自己想要的东西,再升级去做别人想要的东西”。
240



被折叠的 条评论
为什么被折叠?



