开源大模型新SOTA！支持免费商用，比LLaMA65B小但更强，基于1万亿token

转载 于 2023-05-29 13:19:46 发布 · 237 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247679033&idx=3&sn=84629b0733d9a52de2dda1dcd0b5947f&chksm=e8de8b4bdfa9025d320348b9a5469acb1d35b3f0dfc81ac3b8c3d355baa6609140173de62da0&scene=126&sessionid=0
文章标签：

#人工智能 #深度学习 #机器学习 #神经网络

丰色 发自 凹非寺
量子位 | 公众号 QbitAI

号称“史上最强的开源大语言模型”出现了。

e4c3d4c3d1b34847e5025d2a9d4dcfec.png

它叫Falcon（猎鹰），参数400亿，在1万亿高质量token上进行了训练。

最终性能超越650亿的LLaMA，以及MPT、Redpajama等现有所有开源模型。

d1bf1b5820ced309cf4bb4e9b06b8959.png

一举登顶HuggingFace OpenLLM全球榜单：

fc9bce0af48d490074771641d734d659.png

除了以上成绩，Falcon还可以只用到GPT-3 75%的训练预算，性能就显著超越GPT-3，且推理阶段的计算也只需GPT-3的1/5。

faa867a7c22c81d3a81498db7a4a1c5e.png
a71dac06f4f0b1813b5ad5bb4471d26a.png

据悉，这只半路杀出来的“猎鹰”来自阿联酋阿布扎比技术创新研究所(TII)。

有意思的是，作为一个开源模型，TII在Falcon上推出了一个相当特别的授权许可证要求：

可以商业使用，但如果用它产生的收益超过了100万美元，就要被收取10%的授权费。

一时之间，争议满满。

史上最强开源LLM

据介绍，Falcon属于自回归解码器模型。

它使用自定义工具构建，包含一个独特的数据管道，该管道从公开网络中提取训练数据。

——Falcon宣称它“特别注重数据质量”，从公网上抓取内容构建好Falcon的初始预训练数据集后，再使用CommonCrawl转储，进行大量过滤（包括删除机器生成的文本和成人内容）并消除重复数据，最终得到一个由近5万亿个token组成的庞大预训练数据集。

为了扩大Falcon的能力，该数据集随后又加进了很多精选语料，包括研究论文和社交媒体对话等内容。

除了数据把关，作者还对Falcon的架构进行了优化以提升性能，但细节没有透露，相关论文将很快发布。

据悉，Falcon一共耗费两个月，在AWS的384个GPU上训练而成。

6f1574c4897a1b19be793676beb884d7.png

最终，Falcon一共包含4个版本：

  • Falcon-40B：在1万亿token上进行训练，并使用精选语料库进行了增强；主要接受英语、德语、西班牙语、法语的训练，不会中文。

  • Falcon-40B-Instruct：在Baize上进行了微调，使用FlashAttention和多查询对推理架构进行了优化，是一个即用型聊天模型。

  • Falcon-7B：参数70亿，在1.5万亿token上进行了训练，作为一个原始的预训练模型，还需要用户针对大多数用例进一步微调。

  • Falcon-RW-7B：参数70亿，在3500亿token上进行训练，该模型旨在用作“研究神器”，单独研究各种在网络数据进行训练的影响。

开源许可证引争议

Falcon作为开源模型，已公开源代码和模型权重，可供研究和商业使用。

这对业界来说是一个好消息，毕竟像Meta的羊驼家族都只能用于研究目的，且还得填表格申请才行，很是麻烦。

但Falcon还是引起了争议。

这主要是因为它那“超过100万美元的任何商业应用都要收10%的授权费”的许可证要求。

据悉，该许可证部分基于Apache License 2.0协议，该协议对商业应用友好，使用者修改代码只需满足相关需求即可将新作品作为开源或商业产品发布或销售。

a08b09b550e3b3331d0c2771225a265b.png

有不少网友认为，既然Falcon宣称开源，还要收费，就违背了Apache License Version 2.0的宗旨，不属于真正的开源。

a23b37f9f915dbdf2069cf05ba62eecc.png
7ff7fe48e777774a56293725fa59eaf2.png

并有人称这是一种“有损Apache软件基金会来之不易的名誉”的做法。

8e2813e588a4d64a4ad8543301bd4ad8.png

有网友已经跑到TII的官方账号下“讨要说法”：

你自己能解释一下这是如何符合“开源”的定义吗？

319e87b7f81d6176e26a63f2715b58d4.png

目前，官方并没有回复。

你认为这种做法究竟算不算开源呢？

参考链接：
[1]https://falconllm.tii.ae/
[2]https://twitter.com/ItakGol/status/1662149041831002138
[3]https://twitter.com/TIIuae/status/1662159306588815375

— 完 —

「AIGC+垂直领域社群」

招募中！

欢迎关注AIGC的伙伴们加入AIGC+垂直领域社群，一起学习、探索、创新AIGC！

请备注您想加入的垂直领域「教育」或「电商零售」，加入AIGC人才社群请备注「人才」&「姓名-公司-职位」。

6276c7a76418feba30f9ba19dd2bff86.png

点这里👇关注我，记得标星哦～

QbitAl
关注
博客
打工15年，被大厂裁4次了
12-07 44
的确比在微软有挑战性了很多，但好像有点太有挑战性了：刚进Meta的大门，工牌还没戴习惯，部门的产品规划就出了大纰漏，把整个团队折腾得鸡飞狗跳。然而随着AI的出现，同行开始疯狂抬package挖墙角，「消失术」每天都在老李身边上演——昨天同事还在对面喝咖啡，今天工位就干干净净了。，直接线下复用「公域获客→私域转化」的打法，还卖起了「可能提升牌运」的麻将周边，搞麻将比赛、做社群，生生把实体生意做成了互联网产品。，也能玩得很互联网——除了包子本身，还卖酒、做包子文创，把店铺打造成年轻人的「线下社交广场」。
博客
实测完豆包Seedream 4.5，替我设计师朋友哭了
12-07 39
清晨的微光穿过树林洒落其上，行人、骑行者与遛狗的居民沿栈道悠然前行，呈现出一幅静谧而富有生命力的画面。栈道两侧是一间间典型的北欧木屋，温暖的橡木墙面与暗蓝屋顶相互映衬。将几张图中元素融合到一张图中生成一张圣诞海报，画面主体是一颗大圣诞树，圣诞树下面摆放着礼物，海报上方写着“Merry Christmas”，字上要挂上小星星、气球装饰。画面上方，一轮淡金色的晨曦从云层背后升起，柔光照亮雾气，使光线在树林间散射出梦幻般的光晕。整体场景以木色、雾白与森林绿为主色调，辅以细腻的光影纹理，打造清新又富空间感的氛围。
博客
他们让万亿参数RL学会了「省着跑」，顺便砍掉九成算力
12-07 47
心智不只是存储的知识——它是能通过交互不断更新的世界模型、能从反馈中学习的内部机制、能动态感知任务的记忆系统。DeepSeek V3.2的技术报告里有个细节很值得玩味——RL训练的算力投入已经超过预训练的10%，而且性能曲线还在往上走。Mind Lab给出的解法是：用LoRA做参数高效适配，配合专门为万亿参数MoE模型设计的混合并行引擎，把RL的计算量砍到只剩十分之一，同时性能不打折。它持续生成接地的reward信号——编辑、使用模式、任务完成率、留存率，甚至用户的流失，都在告诉你系统到底有没有在帮忙。
博客
苹果芯片主管也要跑路！库克被曝出现健康问题
12-07 16
随着苹果从移动端的A系列芯片，到桌面级的M系列芯片，全面实现了旗下产品的芯片自研，斯鲁吉的职位也一路升至硬件技术副总裁、苹果高级副总裁、苹果硬件技术高级副总裁。Alan Dye离职的消息传出后，苹果就宣布挖走了Meta的首席法务官Jennifer Newstead，以接替已担任苹果总法律顾问8年的Kate Adams。而加入之初，他的职责就是领导A4的开发，即苹果第一颗自研系统芯片。最新爆料称，这位苹果自研芯片项目架构师，已经向库克表达了去意，并透露如果离开苹果，他将加入其他公司。
博客
Agent微调复活？英伟达开源8B新模型带飞GPT-5：在HLE狂卷37分，还把成本打下来
12-07 22
最近，来自英伟达和香港大学的研究员提出一种新范式：用一个8B小模型当指挥家，把代码解释器、网络搜索、数学模型、甚至更强的大模型当作乐手，按需编排、分工合作，用强化学习把“正确、便宜、合你心意”三件事同时做到。指挥家不会一味狂点GPT-5，而是平衡调用：本地/网页检索、代码执行、专长模型（如数学/编程）与通用LLM各司其职，用最省的刀切最对的菜。听你的：偏好对齐，对“更私的本地检索/更快/更省”等偏好，指挥家比强基座更能遵命行事，把“合你心意”从口号变成指标。他增强偏见：无脑调用“最强模型”，成本爆表。
博客
英伟达巧用8B模型秒掉GPT-5，开源了
12-06 54
MIT和CMU联合团队的ToolRL，提出以奖励为核心的工具学习框架，训练小模型通过强化学习动态选择工具，主要是解决“传统工具学习过度依赖人工标注数据” 的问题，通过自动生成工具交互轨迹训练模型。最明显的原因就是实用。大模型虽强，但太贵、太慢，而Orchestrator-8B参数量小，还能实现「强+省钱」，直接解决了落地时的成本难题。虽然也是奖励机制，但ToolRL的奖励函数更侧重于任务的正确性和工具调用效率，并没有明确纳入用户偏好，且工具库以基础工具和专业API为主。
博客
SpaceX估值8000亿美元超OpenAI，IPO就在明年
12-06 159
2008年，猎鹰1号在历经三次失败后终于成功入轨，这让SpaceX证明了自己——虽然是一家私营公司，但同样具备入轨能力。再到2025年，依靠猎鹰9号的高频复用，SpaceX实现了全球最高的发射能力，为大规模卫星星座的建设彻底铺平道路。比如，据彭博在内的另外几家媒体透露，SpaceX也可能以300美元左右/股进行交易，届时公司估值可能为5600亿美元，而非当前正在传的8000亿美元。到目前为止，SpaceX已经在火箭发射市场占据主导地位，除了帮一些商业卫星公司执行发射计划，也和NASA等官方机构多有合作。
博客
14岁华人小孩，折个纸成美国天才少年
12-06 40
而就是这些日常生活随处可见的普通纸张，让迈尔斯在一众背靠专业实验室设备的选手中脱颖而出，一举成为纽约名声大噪的天才少年。而就是这张看似平平无奇的折纸，却在此后成为了日本卫星太阳能板的关键结构，甚至NASA的可折叠太阳能阵列也曾受其启发。为了找出最优解，迈尔斯的研究囊括了4项变量：包括三种不同的平行四边形宽度、三种角度、两种高度，再加上三类纸张。神奇的是：在这54套方案中优胜的，并非尺寸较小、角度较小的板材，反倒是看似普普通通的复印纸。我完全是在没有任何专业设备的情况下完成的研究。
博客
智能体A2A落地华为新旗舰，鸿蒙开发者新机遇来了
12-06 643
当你沉浸在小红书的旅行攻略时，只需双指长按即可召唤分屏导航，左侧点击攻略里的景点，右侧的百度或高德地图瞬间就能响应定位，甚至能依据文中提到的多个地点自动规划出最佳路线，让导航出行一目了然。总之，A2A协作把人找服务的旧模式，变成了一声令下服务就主动找人的新形态，它让设备具备了组织能力，这不仅是效率的提升，更是消费电子设备进入主动智能协作阶段的里程碑。现在，只需对小艺下令，小艺就会作为主Agent，点个名就能自动调度并指挥第三方应用的子Agent，无需界面跳转，在小艺的对话框内就能完成任务。
博客
《三体》“宇宙闪烁”成真！免佩戴裸眼3D屏登Nature
12-06 66
长相上，它的大小和普通的24寸桌面显示器相当，但别小看这个尺寸，它的有效3D成像面积达到了0.1到0.2平方米，跟以前那种只能显示指甲盖大小的全息技术比起来，足足大了1000倍。它的思路不再是试图在整个空荡荡的空间里重建光场，而是利用传感器实时锁定观察者的眼球位置，通过精密计算，将有限的光学信息“聚拢”起来，只精准地投射到你双眼注视的那个小范围内。在实现这么多复杂效果的同时，它的画质一点没缩水，依然保持了1920×1080的高清分辨率，刷新率也超过了50Hz，画面非常流畅，完全能撑得起实时的动态内容。
博客
知名数学家辞职投身AI创业：老板是00后华人女生
12-06 108
是一个30年前的加法数论问题，涉及将整数表示为多个进制下的幂之和，在Axiom发布的前两天，Harmonic同样宣称解决了该问题，但只完成了简化版问题的证明，以及Lean形式化验证。在此期间还发表了9篇论文，涉及领域相当广泛，包括模椭圆曲线与K3曲面的L函数、月光猜想、theta与划分函数同余方程、堆栈排序算法，和二部图边染色的马尔可夫链。他主要的工作是推动内部AI模型达到性能极限，通过设计出只有深度理解数学原理才能够解决的数学问题，以及制定衡量系统性能的基准，指导模型优化。几周前，OpenAI曾声称。
博客
谷歌新架构突破Transformer超长上下文瓶颈！Hinton灵魂拷问：后悔Open吗？
12-05 85
现在AI领域已经达成共识的是，Transformer虽好，但自注意力机制的效率问题正在日益凸显：每个token都要“关注”其他所有token，导致计算量和内存消耗与序列长度的平方成正比。它把从长期记忆中提取的信息，当作是历史信息的“摘要”，与当前的短期输入一起进行处理。其中的关窍是“意外”。本质上，可以说这个新架构的重点，是重新定义Transformer的“记忆模式”，将其进化为一种更强大的混合架构。是Titans架构的一种主要变体，设计思路是，将长期记忆作为一种额外的上下文信息，直接“喂”给注意力机制。
博客
Office危！阿里千问这回把“办公全家桶”打包进了对话框
12-05 110
更实用的一点是，生成完还能改，我觉得这是这次升级最最最实用的功能点，毕竟我们平时让AI帮我们生成的PPT都不支持修改，最后还是要挪到office里搞，很麻烦。除了生成、编辑、格式调整外，在这次升级中，千问还支持Word/PPT/PDF/Excel等各类格式转换，确保用户相关操作在一个APP里就能完成。从排版格式上来看，文字行间距、字间距、大小标题的位置都没乱，内容也被分成了清晰的序号区块，整体观感还是比较舒服的。此外，PPT美观程度也是我们很care的点，现在我们在千问中可以直接更换PPT。
博客
优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资，“算法-硬件-场景”三位一体加速具身智能应用落地
12-05 54
优理奇构建了涵盖感知、决策、控制的完整技术栈，并通过UniTouch多模态感知模型、UniFlex、UniCortex等行业领先的“大小脑”模型组合，以及行业首款量产的8自由度仿生机械臂和开放工具链，显著提升了机器人在非结构化环境中的适应性与可靠性。深度参与产品定义，以“可教学、可编程、可复现”为特点，配备完整ROS2接口，为科研与教育提供高效基础设施，进一步巩固公司在技术生态中的影响力。顶尖的技术与工程团队、经过严苛验证的产品、清晰的商业化路径、强大的产业资本联盟以及政府层面的全力支持。
博客
视频模型也能推理，Sora2推理能力超过GPT-5
12-05 76
这种通过视频来“预知未来”的能力，让模型不仅能理解当下的物理规则，更能推演未来的连锁反应，这或许才是通往World Simulator那把关键的钥匙。反观视频模型，它们通过构建时空连贯的Chain-of-Frame进行推理，这种“视觉动力学”机制保证了无论场景多么复杂，每帧的视觉 Token 密度都保持稳定，从而天然地维持了空间连续性。值得注意的是，团队进行了一项严苛的对比实验：在完全相同的训练数据和接近的训练设置下，同时微调了Wan2.2-TI2V-5B 和 Qwen2.5-VL-7B。
博客
GPT-5从零提出量子物理新想法，物理学家写成论文已登Physics Letters B
12-05 105
通俗地说，我们熟悉的量子力学是 “线性” 的，那如果给它加一些 “非线性” 的修改（让量子状态的变化不仅和自身有关，还和整个系统的状态挂钩），能不能依然符合相对论的要求（比如信息不能超光速传播、物理规律不随观测角度变）。他指出，这是大模型在物理学中的常见问题：模型的专业知识覆盖整个文献领域，因此完全有能力引入来自遥远子领域的、听起来很合理的技术应用，而这些往往是最难发现的虚构内容。与大模型一起做研究，可能类似于与一位才华横溢但不可靠的人类天才合作，他能够产生深刻的洞见，但也会犯下简单和深刻的错误。
博客
北航领衔发布300页代码智能综述：从基础模型到智能体，一次读懂Code LLM全景图
12-05 68
From Code Foundation Models to Agents and Applications》一文是对过去几年代码智能领域的一次系统梳理：模型、任务、训练、智能体、安全与应用都被串联成了一条完整、连贯的技术链路。论文将风险拆分为数据安全、模型安全和执行安全三个层面：包括训练数据的许可证风险、模型生成的潜在漏洞、提示攻击、环境操控、以及代码执行带来的系统级风险。论文从需求理解、代码定位、跨文件生成、自动测试、APR（自动修复）、日志分析等任务切入，为每一步构建了对应的Agent框架和案例。
博客
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
12-05 77
具体来说，在「深度思考」模式下，Gemini会开启迭代推理，能多轮打磨代码，生成更精细的程序，从而在可视化、原型设计和实验方面给出细节更丰富的交付结果。不给对手任何喘息的机会，Gemini 3 Pro刚给OpenAI按在地上锤完，谷歌转手又扔出一重磅炸弹——Gemini 3 Deep Think。这或许也能解释，为什么本该是谷歌又一大招的Gemini 3 Deep Think，最终却出乎意料的反响平平，评论区几乎清一色都在吐槽定价。该模型的底层技术衍生于Gemini 2.5 Deep Think——没错，
博客
Ilya刚预言完，世界首个原生多模态架构NEO就来了：视觉和语言彻底被焊死
12-05 656
而过去几年，行业陷入了“唯规模论”的路径依赖，直到今天，以Ilya为代表的一批顶尖研究者才集体发出警示：Transformer架构的固有局限已日益凸显，仅靠堆叠算力和数据，无法通往真正的通用智能。它不仅重新定义了多模态模型的构建方式，更向世界宣告：AI的下一站，是回归到对智能本质的探索，通过根本性的架构创新，去构建能真正理解并融通多维信息的通用大脑。注意力机制是大模型的思考方式，在传统模块化模型里，语言模型的注意力是因果的（只能看到前面的词），而视觉编码器的注意力是双向的（能看到所有像素）。
博客
2025年的冬天，上海凭什么被称为“世界具身智能第一战场”？
12-05 71
真正的里程碑在于，在中国，以上海为代表的世界具身智能产业排头兵们，已经建立了一个让硅基生命能够“出生、成长、学习、就业”的完整生态系统。坐镇，她考核的不仅是摆放位置，更是机器人能否理解“留白”的意境，能否通过花材的疏密布局，表达出“孤独”或“热烈”的。行业的“定海神针” 发布的“青龙”全尺寸通用人形机器人开源公版机，通过开源图纸和架构，将全行业的起跑线向前推进了。2025年的冬天，黄浦江畔的风带着些许湿冷，但张江科学会堂周边的空气，却因高密度的算力运转而近乎沸腾。具身智能的大脑训练需要极高的算力支持。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值