
【导语:22岁的初创CEO Kye Gomez以第一性原理推导出Claude Mythos的核心架构,并将项目OpenMythos全开源,引发全网关注。该架构采用创新设计,改写了AI的Scaling法则。】

Anthropic捂得严实的Claude Mythos被22岁的Kye Gomez扒开。他不是通过泄露或内部员工带出信息,而是以第一性原理从头推导其核心架构,并将OpenMythos项目全开源,复现帖引近100万人围观。

Claude Mythos的核心是「循环深度Transformer」(RDT)架构,同一套权重在一次前向传播里最多循环跑16次。与传统大模型堆参数不同,RDT不盖高楼,原地跑圈,模型只有一个核心计算块,反复执行更新隐藏状态,实现迭代推理。
OpenMythos架构分三段:Prelude(序曲)、Recurrent Block(循环核心)、Coda(终章)。Prelude和Coda是标准Transformer层,各跑一次,循环块最多循环16次,每次更新规则为h_{t+1} = A·h_t + B·e + Transformer(h_t, e),其中e是Prelude编码后的原始输入,防止模型跑偏。

OpenMythos在循环核心的每个FFN层替换成MoE层,设计参考DeepSeek - MoE。大量细粒度路由专家,每个token只激活部分,少量「共享专家」始终激活吸收通用知识。随着隐藏状态h_t在循环中演化,路由器在每一层循环深度选择不同专家子集,MoE提供广度,循环提供深度。
注意力机制默认使用「多潜变量注意力」,能实现10 - 20倍的KV显存节省。还有LTI约束注入、自适应计算时间、深度级LoRA适配器三个额外机制保证循环稳定性。

实验数据显示,770M参数的循环模型在同等训练数据下,能达到1.3B标准Transformer的下游任务质量,参数效率直接翻倍。对消费级硬件是利好,推理深度是时间换空间,不需要更多显存。
这彻底改写了AI的Scaling法则,未来最强的模型不是参数最多的,而是想得最多次的。不过作者表示目前只是理论说法。

22岁的Kye Gomez高中毕业就投身创业,曾领导多家公司。他只用公开论文和第一性原理就复现Claude Mythos并全开源,几行代码就能跑。这意味着闭源实验室的架构优势正在消失,FT报道Dario Amodei预测中国将在12个月内复刻出具备Claude Mythos级别能力的大模型。
编辑观点:22岁小哥的开源成果为AI领域带来新变革,改写了行业规则,闭源架构优势不再,未来AI发展或迎来更多创新与突破。



被折叠的 条评论
为什么被折叠?



