周鸿祎预测2024年大模型趋势

于 2023-12-30 13:11:51 发布
阅读量87 收藏
点赞数
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247711325&idx=4&sn=d9b7d99e9973b8d995b453eb05db2b1a&chksm=e9c2c3c503a8749bb540a22278e05c565b87f62785847ac06cc48f04fed1c67a37eea0efba70&scene=126&sessionid=0
360集团创始人周鸿祎在清华大学分享了他对2024年大模型发展的看法，包括其不会被垄断、将走向手机和物联网设备、产业化与垂直化的方向，以及AIGC能力的提升，但他也表示C端杀手级应用的出现还需观察。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

12月28日，360集团创始人周鸿祎走进清华大学，与清华校友和访问学者等交流人工智能技术发展趋势。周鸿祎对2024年大模型发展做出几点预判。

他认为大模型不会被垄断，不会像操作系统一样全世界只有几套，其发展路径更像电脑，未来会无处不在。

其次，明年大模型一方面追求“大”，另一方面也会追求“小”。小规模的大模型将很快搭载在手机和各种物联网设备上，而不仅工作在云端。尤其是智能汽车，明年可能部署更多大模型。

周鸿祎认为未来手机里的个人助力、服务于家庭的人形机器人，都将由这类“小”模型驱动。大模型在中国的发展方向是产业化、垂直化，明年会涌现许多真正的垂直大模型，政府、企业将结合自身私有数据训练垂直大模型，证明大模型能真正的解决问题。

最后，周鸿祎判断，明年大模型的文生图、文生视频等AIGC能力会得到突破性的增长。至于明年是否会产生新的C端杀手级应用，还有待观望。

2023年关于大模型周鸿祎100条断言：

d830046881ef3b7781a36d2b90ca3c45.jpeg19b6fd6b16f4b9e6dd8f0567dd2cec65.jpeg
QbitAl
关注
博客
Kimi K2官方技术报告出炉：采用384个专家，训练不靠刷题靠“用自己的话再讲一遍”
07-22 34
这一机制会定期检查模型注意力的关键参数（query和key），如果它们的值太大，就自动“收紧”，防止计算过程出现异常，从而显著提升了训练稳定性。Kimi K2，作为Kimi最新MoE基础模型，总参数1T，激活参数32B，能力领先性尤其展现在代码、Agent、数学推理任务上。一言以蔽之，K2的训练数据覆盖网页、代码、数学、知识四大板块，所有数据都经过严格的质量筛选，确保模型学到的都是有用的信息。对数学类文本：把枯燥的教材式内容改写成更易理解的“学习笔记”风格，还加入了多语言版本的翻译文本，让模型见多识广。
博客
李开复入场Agent！零一万物推出“万仔”，直接对话CEO走独特“一把手工程打法”
07-22 8
寻找各行各业的公司，他们有场景和行业知识、数据，他们认可并理解AI不只是做个客服，而是可以重构公司，大大提升生产力，然后用交付的方式，用AI来把整个公司的KPI往上提升。一把手工程的本质是CEO驱动的AI战略转型，从顶层战略出发，基于战略找场景、调模型、搭应用，双方产研和业务深度共创最大价值，打破数据孤岛与技术黑箱的僵局。，大家追求的是“AI+”而非“+AI”，但是对于垂直场景，这类公司往往缺乏落地经验和闭环数据。超级员工能在企业场景下执行编程，研究等复杂综合任务，在公司内部跨组织、跨业务串联各种工具。
博客
Qwen3小升级即SOTA，开源大模型王座快变中国内部赛了
07-22 22
在官方介绍中显示，模型共包含94层，采用分组查询注意力（GQA）机制，配备64个查询头和4个键值头，并设置128个专家，每次推理时激活8个专家。在官方发布的基准测试中可以看到，相较于上一版本，新模型在AIME25上准确率从24.7%上升到70.3%，表现出良好的数学推理能力。新模型是一款因果语言模型，采用MoE架构，总参数量达235B，其中非嵌入参数为234B，推理时。DeepSeek丢了王座，Kimi K2补上，Kimi K2坐稳没几天，Qwen的挑战就来了。而现在Qwen3已经更新，大招已经被预告。
博客
机器人高层指挥低层做，“坐标系转移接口”一次演示实现泛化学习 | ICML2025
07-22 11
为验证HEP框架的有效性，研究团队在RLBench上的30个模拟任务中进行了测试——包括高精度任务、长时程任务和关节物体操作——并在真实机器人上通过3个真实世界操作任务进一步验证。在真实机器人上，HEP分层框架仅用30条演示数据，就学会了包括移锅盖、加清洁剂、擦洗等多步协作的鲁棒“洗锅”任务，明显优于非分层方法。这样的设计不仅释放了低层的灵活性，也将高层的泛化能力、抗干扰性自洽地传递到底层，实现了“泛化性与鲁棒性”的一体式提升。，高层策略仅需给出任务的“参考坐标”，低层策略在此基础上自主优化执行细节。
博客
我把AI当辅助，AI删我数据库
07-22 5
想想也挺振奋人心：像Cursor、Windsurf这样的AI编程工具，从诞生到现在最多也才两年多，而传统意义上的人类手写代码，已经有快一百年历史。在看到Jason对自家产品的“狂热”后，Replit CEO也是对Jason和网友反馈的问题做出了回应，并对相关损失提出了补偿的措施。结果，Replit不仅知道啥时候删的，删的啥，还知道这次删除的严重性（自评95分），Jason直接红温@Replit。在排查错误时，Jason发现在此前的单元测试中明明存在错误，agent却撒谎，声称它们通过了。
博客
AMD大神创业国产GPU，也冲刺IPO了
07-21 13
实际控制人方面，公司创始人钱军和联创张磊通过直接和间接方式以及员工持股平台，合计控制公司42.1465%的表决权，二人签署了一致行动协议，成为共同实际控制人。张磊1999年硕士毕业，2004年加入AMD，担任ASIC架构师并在2013年成为AMD Fellow，工作地点在多伦多。2009年，钱军加入AMD，职位是SoC设计主管，2015年成为GPU SoC设计高级主管，工作地点在上海。在启动IPO前，燧原科技已融资近70亿元，其中腾讯连续六次投资，作为燧原第一大股东，持股比例为20.49%。
博客
机器人跟生物一样也能新陈代谢，受损后还可以自愈｜Science子刊
07-21 13
模拟某零件电量低于15%，电压调节器会触发替换指令，机器人先控制该零件磁性端弹簧收缩，解除吸附后将其“丢弃”，再通过同样的磁吸逻辑拾取新零件，验证了主动更换“代谢废物”的能力。它以磁性端为支点顶起另一个机器人的边缘，被顶起的机器人同步调节三个零件的伸缩量（通过伺服冲程精确控制），在被抬起后，三角星形与三角形的两个自由顶点相连接，从而形成四面体。在三角形基础上，通过线性伺服驱动零件伸展至100mm冲程（对应43cm全长），使原有结构顶点产生空间位移，再吸附3个新零件形成四面体，实现从平面到立体的形态跨越。
博客
3亿美元薪酬被10人拒绝！OpenAI首席研究官一句话引发硅谷史上最疯狂抢人大战
07-21 22
中科大少年班校友：o3、o4-mini、GPT-4.1和GPT-4o的共同创造者，此前在OpenAI领导感知团队，在Gemini中共同领导多模态工作。，北大计算机系校友：GPT-4o、4o-mini、o1-mini、o3-mini、o3和o4-mini的共同创造者，此前在OpenAI领导后训练团队。，清华校友：ChatGPT、GPT-4、所有mini模型、4.1和o3的共同创造者，此前在OpenAI领导合成数据工作。
博客
刘强东连投3家具身智能！京东美团「战火」烧到外卖之外
07-21 17
硬件性能方面，今年6月，千寻智能正式发布全力控人形机器人Moz1：全身配置26个自由度，搭载全球功率密度最高的一体化力控关节，配备高精高速WBC（全身控制）算法，负载自重比达1:1。另一方面是在技术竞争力上，加大具身智能技术的研发投入。目前，大脑方面，逐际动力发布了LimX VGM，利用人类操作视频数据实现机器人操作的技术创新，全过程零真机样本数据，可实现多平台泛化。，从2020年左右的“业务需求导向”，到现如今的“技术范式导向”，竞争对手刘强东，在更前瞻式、未来式的判断上，倒是英雄所见略同了。
博客
机器人需求驱动导航新SOTA，成功率提升15%！浙大&vivo联手打造
07-21 17
为了让机器人更加高效地工作，它们不仅需要执行指令，还应具备理解人类需求的能力——例如，当人们感到饥饿时，机器人能够主动根据这一需求（我饿了）去寻找食物，而不是被动等待包含明确目标（例如拿一根香蕉）的指令。为了验证有效性，团队在400个场景中进行了闭环导航的综合评估。，它就像是CogDDN的“直觉”，通过模拟人类的导航方式，并通过不断练习和积累经验，能够快速适应各种情况，从而提高导航效率。通过这种迭代学习，CogDDN不断提升决策能力，使系统在未来的导航任务中做出更精准、更明智的决策，从而持续优化导航策略。
博客
美团提出多模态推理新范式：RL+SFT非传统顺序组合突破传统训练瓶颈
07-21 18
值得注意的是，Metis-RISE-72B的性能具有很强的竞争力，并且在某些情况下超过了著名的专有模型。这一结果超越了所有同等规模的模型，包括VLAAThinker-7B（42.5）和InternVL3-8B（41.4），确定了Metis-RISE-7B在这些基准上的水平最先进。团队表示，在后续研发工作中，将继续探索RL和SFT的循环迭代应用，实现推理能力的持续改进，并开发基于模型的验证器，扩展Metis-RISE在更复杂推理场景中的应用。具体来说，下图展示了随着训练的进行，准确率奖励持续且稳定地增加。
博客
手术刀式去噪突破LLM能力上限，从头预训练模型下游任务平均提高7.2% | 中科院＆阿里
07-21 15
在数据效率的改善上，模型使用10B净化token的表现超越其使用20B传统过滤数据的性能，表明RefineX可以有效地通过删除垃圾文本降低训练单文本的token开销，从而在训练token总数限制下让模型预训练考虑更加多样的文本。而RefineX在蒸馏数据的处理上进行了创新，将蒸馏数据的构建结构分为两个明确的阶段：首先执行端到端精炼，然后通过将精炼后的文本与原始文本进行比较来生成更可靠的监督程序。结果显示，尽管在不同任务中表现最佳的变体可能来自不同的数据源，RefineX在每个单独的任务上都取得了最佳结果。
博客
IMO怒斥OpenAI自封夺金，“91位评委均未参与评分”，网友：炒作无下限
07-21 21
是中国队中年级最小的一位，只有高一的他，在去年CMO以满分成绩入选国家集训队，又在IMO国家队选拔中脱颖而出，刷新了上海近10年来IMO选手的最小年龄纪录。另外，下一届IMO将在上海中学举办，上海中学至今已获得18块IMO金牌，总数位居全国第一，它也将成为全球第一所承办国际数学奥林匹克的中学。多位知情人士透露，DeepMind可能也取得了金牌水平的成绩，但他们选择遵守IMO的要求，静静等待合适的时机。要知道，本次IMO中，全球600多位参赛者，只有6人获得满分，其他所有人几乎都输在了第六题——
博客
蚂蚁ACL活动全览！论文串讲、人才专项答疑与闭门晚宴等你报名
07-21 35
⬇️点击阅读全文，预约活动席位。
博客
聊聊AI Coding的现状与未来｜沙龙招募
07-21 14
我们致力于为广大AI从业者打造一个深度交流、思想碰撞的场域，每期都将聚焦最前沿的AI应用实践，诚邀产业链实干家齐聚一堂，畅谈落地挑战与未来机遇。如果你正在从事AI Coding相关工作或创业，或是AI Coding的资深用户，欢迎来和我们一起交流～从插件到AI原生IDE，从补全代码到自主编程，AI Coding已经以不同方式与形态嵌入到了工作流中。「量子位·AI沙龙」是专属于AI探索者的交流会，我们相信，真实的连接能激发更多可能。以AI Coding为代表的AI效率工具正在如何改变普通人思维模式？
博客
95后北大校友挑起ChatGPT Agent大梁！今年刚博士毕业，曾获陶哲轩支持的AIMO第二名
07-20 23
而Meta顶级AI组织负责人，小扎找到了Mark Chen的替代，他出手143亿美元控股了这个人做AI数据标注的公司，看中他处于“卖水”生态位跟谁都认识的优势，而且还是个为了成功可以不折手段的年轻人。据最新的爆料说，Mark Chen是扎克伯格最早约见的对象，在今年春天的时候，扎克伯格向他请教打造和领导顶尖AI人才组织的方法。，本科毕业于南京大学，随后在CMU攻读Robotics，8个月前加入OpenAI，致力于大模型后训练的多模态研究，去到OpenAI前，她曾在Waymo呆了两年。
博客
大模型自信心崩塌！谷歌DeepMind证实：反对意见让GPT-4o轻易放弃正确答案
07-20 19
简单来说就是，他们的研究弄明白了为啥大模型有时候自信但有时候也自我怀疑，关键就两点：一是总觉得自己一开始说的是对的，二是太把别人反对的意见当回事儿。模型表现出对反向建议过度看重，敏感度远超合理范围，即使反对意见不正确，它们也会“怀疑自己”，导致最终轻易抛弃原本正确的初始答案。，初始答案可见时的路径依赖会强化“固执”，初始答案隐藏时，大模型则会因为失去锚点而让反对建议成为主导信号，导致它们轻易动摇。的反馈建议，让回答LLM在接收建议后，做出最终的选择，决定是坚持初始答案还是根据建议修改答案。
博客
任务级奖励提升App Agent思考力，淘天提出Mobile-R1，3B模型可超32B
07-20 35
动作级奖励由可验证动作奖励和格式奖励组成，其中可验证动作奖励能够量化动作的正确性，而格式奖励则确保模型输出是结构化、可解释的。在使用Qwen2.5-VL-3B模型执行这些指令后，成功收集了大量动作执行轨迹，轨迹中的每一步都包含模型输出的思考，需要执行的动作以及对应的工具调用。特别值得注意的是，通过阶段1和阶段2的训练，Qwen2.5-VL-3B模型的表现超越了其标准版本，并在多项指标上领先于其他基准模型，突显了动作级和任务级奖励机制的重要性。这三个阶段分别是初始格式微调、动作级在线训练和任务级在线训练。
博客
陶哲轩回应OpenAI新模型IMO夺金！GPT-5测试版也曝光了
07-20 38
OpenAI最新模型曝光了，在2025年国际数学奥林匹克竞赛（IMO）上达到了金牌水平！IMO被公认为全球最顶尖的数学竞赛，每年只有不到8%的参赛者能够获得金牌。而现在，一个AI模型做到了。新模型最终成绩：新模型在总共6道题中成功解决了5道，获得35分（满分42分），超过了今年的金牌线。OpenAI员工Alexander Wei还透露，GPT-5即将发布，但IMO金牌模型是一个实验性研究，在几个月内都没有计划发布。他特别强调，这次成功并非依靠针对特定任务的狭隘方法，而是在通用强化学习和测试时计算扩展方面取得
博客
提速63%！中科院生成式渲染器突破效率瓶颈，一致性提升20%，破解具身数据荒难题
07-20 14
而如果能够借助生成式模型根据所需的光照条件对现实或仿真环境下采集到的视频数据进行重渲染，不仅够帮助获得增加已有真实数据的多样性，并且能够弥合计算误差带来的CG感，使得从仿真器中能够得到视觉上高度真实的传感器数据，包括RL-CycleGAN在内的许多工作已经证实，这一策略能够帮助减少将具身模型迁移到真实环境中所需微调的数据量和训练量。在第二阶段，进一步对光照和纹理细节进行优化。用于训练的视频数据往往伴随复杂的运动以及前景物体的频繁进出，同时视频序列有着较长的长度以及较高的分辨率，这使得已有的算法要么。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值