
Transformer记忆的人类思维,突破了自动驾驶、人形机器人和AI个性教育的边界。
作者丨刘洁
编辑丨岑峰
自己称赞自己千句,不如别人称赞你一句。
例如马斯克在播客、推特上经常自称特斯拉的自动驾驶和机器人“天下第一”,但这样的话看多了,难免也有些审美疲劳。不过,前几天,Andrej Karpathy在No Priors播客中现身,透露了特斯拉在Optimus人形机器人和自动驾驶领域的一些鲜为人知的进展。
Karpathy曾追随马斯克,从OpenAI转战特斯拉,从无到有亲手打造了特斯拉的计算机视觉团队。
然而,随着团队逐渐壮大,他的角色也从技术专家转为管理者,这与他专注技术工作的初衷相违背。对于Karpathy来说,从头开始构建事物才是他热爱和擅长的事情。因此,他不得不做出“艰难的决定”,在团队成长到足够自主的同时遗憾地告别了特斯拉。
去年,Karpathy重返OpenAI,但不久后又因为相似的原因离开。今年七月,他创立了自己的初创公司Eureka Labs,致力于将AI与教育相结合。

Karpathy的离职推文:“离开OpenAI没有什么特别原因,计划开展个人项目,但请继续提出阴谋论因为那很有趣。”
尽管如此,Karpathy对特斯拉的情感依旧深厚。他在访谈中公开表示对特斯拉在AGI、机器人以及自动驾驶领域的赞赏,并透露了未来可能重返特斯拉的意愿。
在这期播客节目中,Karpathy不止分享了过去在特斯拉收获的有关自动驾驶和人形机器人的思考,还有他对Scaling Law和AI发展的理解以及对AI教育的展望。
在谈到自动驾驶时,Karpathy回忆起自己十年前第一次体验Waymo的自动驾驶的经历,那时Waymo在街区的表现已经非常接近完美。经过十年的发展,这项技术终于从demo演变成了真正的商业产品。
Karpathy认为现在的自动驾驶其实已经达到了类似AGI的水平,只是受限于技术和监管,全球范围内的全面普及仍然是个难题。
Karpathy还把Waymo和特斯拉做了比较,非常有信心地肯定了特斯拉的自动驾驶技术。他透露,自己刚体验了特斯拉的最新版本,感受非常惊艳,对其表现非常满意。
在人形机器人方面,Karpathy提出了独特的观点。他认为,汽车本质上就是一种机器人。他还提到,在特斯拉早期的Optimus人形机器人开发中,汽车和机器人在硬件、工具以及研究人员方面基本都是共享的。
Karpathy特别分享了对人形设计的思考,他认为保持人形设计是为了更好地集中研究,利用人类最熟悉的姿态来帮助收集和处理数据,同时也使机器人更容易融入人类社会。
至于更深层次的技术方面,Karpathy 谈到了对Scaling Law的理解。
虽然OpenAI以大参数模型而闻名,曾引领了一段时间的大参数模型风潮,但如今主流模型已经转向小参数设计。在Karpathy的Youtube账号,最近一条是三个月前重现GPT-2 124M参数的教学视频,时长4个多小时,这或许也间接反映出Karpathy对Scaling Law的不同看法。
Karpathy 指出,当前AI发展的的瓶颈已经不再是参数和神经网络,而要是数据集的规模和质量。未来的发展将更多依赖合成数据的生成,而合成数据的多样性和“熵”尤为重要。模型输出的多样性如果降低,会导致数据集失去活力。
节目的最后,Karpathy回到了他目前专注的AI教育领域。他相信在AI的帮助下,一对一个性化课程有着巨大的潜力和市场,并透露自己正在筹备一门关于AI的课程,预计会在晚些时候上线。
完整播客视频可以点以下链接观看:https://www.youtube.com/watch?v=hM_h0UA7upI
AI科技评论摘取了部分播客内容,做了不改原意的精编处理:
1
自动驾驶
Sarah Guo:你曾在特斯拉领导自动驾驶部门,现在自动驾驶汽车已经可以上路。你认为当前技术处于什么水平?我们需要多长时间才能看到技术的进一步提升或更广泛的普及?
Andrej Karpathy:我在自动驾驶领域工作了大约五年,对这个领域非常了解。我觉得我们现在的自动驾驶技术已经达到了类似AGI的水平。
今天的一些系统已经允许付费用户在城市中使用,尤其是在旧金山,这种情况非常普遍。我个人已经体验过很多次,这些系统真的很神奇,可以将你送到任何地方。
十年前,我第一次体验了Waymo的自动驾驶。当时,我的一位朋友在Waymo工作,他给我展示了一个demo。那时候,Waymo在街区内的驾驶已经非常接近完美。
经过十年的发展,它终于从demo成为了付费产品,并且在城市范围内不断扩展。

Waymo自动驾驶汽车
Elad Gil:你觉得自动驾驶技术的进展主要受到监管还是技术的

最低0.47元/天 解锁文章
153

被折叠的 条评论
为什么被折叠?



