Anthropic发文引AI安全热议，四位科学家智源大会探讨AI自进化未来

01 什么是AI自进化？

大概是在一周前，正在筹备上市的Anthropic在官方博客更新文章《When AI build itself》，当天AI安全问题被拉回舆论中心。Anthropic指出AI已能参与构建更强模型，速度超预期。AI自进化并非新技术，自AI诞生人们就在思考。田渊栋创立的Recursive Superintelligence（RSI）目标直指AI自进化，该公司不久前完成6.5亿美元融资，估值46.5亿美元。今年智源大会将AI自进化作为主要议题，四位科学家参与讨论。对于什么是AI自进化，林涛认为是多层级进化，包括外脑和内脑；谷雨提出RSI重要的是Proactiveness和Learning两个维度；王琰表示系统少依赖人类就实现自进化；杨梦月称RSI是self improvement进一步发展，Recursive公司联创团队研究方向是Open - endedness。关于AI最有价值、最可能先成熟的自进化部分，王琰认为是基模训练领域。不改变模型参数只进化其他部分，王琰觉得基模能实现能力跃迁。林涛认为是迭代过程，做harness最容易。谷雨用统一视角看harness和skill，认为它们相辅相成，从公司角度harness易起步。杨梦月关注记忆层面进化，认为未来基模变强，harness提升可能微乎其微。

02 AI先在哪个环节自进化？

谷雨认为harness虽可能被模型进步蚕食，但保证模型安全性和可验证性的模块不可取代，自进化时机可理解为Learning + Long - Term Memory（LTM），需新学习算法。谷雨指出存在系统1和系统2的区别。王琰做过TTT工作，认为模型要学会更新梯度。林涛从模型训练角度，认为可形成闭环，时刻在进化。杨梦月也认为自进化时刻发生且延伸到所有环节。对于设计Benchmark是否是AI自进化标志，杨梦月认为需要动态评测；王琰不确定能否用Benchmark评测。谷雨同意王琰观点，认为当前AI还没那么复杂，Benchmark能引导前进，涉及AI发现还是人设计Benchmark以及如何评测两个问题，自进化评测核心是学习过程。林涛认为模型和Benchmark应协同进化，未来可用半自动化方式发现Benchmark提升模型能力。

03 AI会不会失控？

王琰悲观认为几年后人类可能只能在没网络的地方生存，AI失控不远，安全关键在人。林涛提出需要半自动化Benchmark约束AI。杨梦月认为AI可信度等本质是内部可见，白盒很重要。对于RSI中安全控制的因果角度，杨梦月表示传统因果论不适用于大模型时代，需回到因果定义。谷雨讨论短期内让AI更可控的方法，除可解释性、因果发掘，还有可靠性和可验证性。在AI和人的进化协同方面，林涛用AI替代工作流，提升效率，未来可探索人更高效进化让AI更好。杨梦月发现学生用AI工具情况不同，强调不能放弃基础知识学习。杨梦月认为AI会倒逼人进化，王琰举例实习生情况，谷雨和王琰有共鸣，提出两个视角看待人和AI关系。

04 RSI是新范式吗？

林涛认为AI自然发展到自进化，无核心差异。王琰觉得是下一阶段，未来每人可能有LoRA，有新付费模式，形成自进化学习范式。谷雨认为是量变引起质变，既是延续又是新机会，随着AI任务长程化接近新范式。杨梦月认为self improving非新概念，是量变引起质变，评价标准不是长程任务，self improving是通往AGI的技术手段。对于未来5 - 10年RSI技术成熟的改变，林涛认为会改变一切；谷雨希望Agent取代自己；王琰担心资本家取代人，希望工作时间减少、物品变便宜；杨梦月希望AI给人留思考空间，进步慢一点。