阿里Qwen开放Qwen3.8-2.4T模型权重,与Kimi K3呈现明显收敛趋势

国产大模型免费潮背后的工程化危机与开源替代路径 大模型并非单纯比拼参数规模或训练数据量,其真实竞争力取决于工程化落地能力——包括推理效率、本地部署支持、API易用性及垂直场景语义理解深度。随着DeepSeek R1、Qwen2.5等开源模型在消费级硬件上实现低延迟高并发推理,‘模型即服务’正加速向‘模型即工具’演进。开发者不再依赖封闭API,而是通过HuggingFace、llama.cpp、LangChain等标准化栈快速构建私有AI能力;普通用户也得以绕过会员墙,在Kimi、豆包等平台获得更长上下文、更高准确率的免费体验。本文聚焦大模型从云端黑盒到本 阅读详情

阿里Qwen开放模型权重

Kimi K3开源半个月后,8月13日,阿里Qwen正式开放了Qwen3.8 - 2.4T的模型权重。除去是2.4T的大参数模型,这次开源对于阿里而言还有另外的意义。虽然之前Qwen曾多次开源旗舰模型,但Qwen很早就形成了两条线,一边是开放权重模型,一边是更大的闭源Max模型。2024年Qwen自己介绍第一代产品时就明确区分了“大型开源模型Qwen - 72B”和“大型闭源模型”;后来Qwen - Max - 0428也是只通过Qwen Chat和DashScope API提供,并没有释放权重。Qwen2.5 - Max到2025年依然如此,只开放API,而同时拿Qwen2.5 - 72B作为自己的开放权重对照。而这,是Qwen第一个开放权重的Max规模模型。

Qwen3.8架构信息

Qwen3.8本次的开源暂时没有对应的模型,只有简单的架构、后训练、推理Infra,以及开源规则。但从中我们已经可以获得不少信息了。Qwen3.8共有92层(K3 96层),总参数2.4T,每个Token激活95B。它使用512个专家(K3 896个),每次选择10个路由专家,同时还有1个共享专家。相比Kimi K3,每个专家更大,但总激活量稍小(Kimi K3为16专家,103B)。注意力机制上,Qwen3.8继承了Qwen3.5的混合架构。92层实际上由23组相同结构组成,每组包含3层Gated DeltaNet(门控Delta网络)和1层Gated Attention(门控全注意力),也就是69层线性注意力加23层传统注意力,比例正好接近3:1。这和Kimi K3非常像。K3的93层里有69层Kimi Delta Attention(KDA,Kimi Delta注意力)和24层Gated MLA(门控多头潜在注意力),也是大约3:1。两者甚至属于相近的技术谱系,KDA可以看作对Gated DeltaNet遗忘机制进一步细粒度化的版本。不过K3在层间信息流上还多做了一步,它引入AttnRes(Attention Residuals,注意力残差),允许模型重新组合多个历史层的输出。从config.json中看,Qwen3.8沿用了Qwen3.5的实现。目前Qwen 3.5公开代码里仍然是比较传统的Pre - Norm残差结构,每个子层完成以后,只和进入该子层之前的residual直接相加。Qwen3.8原生上下文为262,144 Token,并可以扩展到1,010,000 Token,同时进行了多步MTP(Multi - Token Prediction,多Token预测)训练。

Qwen3.8推理Infra信息

这里首先要区分两种Infra。Training Infra(训练基础设施)回答的是“这个模型怎么训出来”,例如优化器、并行训练、通信、显存管理、Checkpoint和容错。Inference Infra(推理基础设施)回答的是“权重已经训完以后,怎么把它真正部署起来,并让每个Token足够快、足够便宜地吐出来”。Qwen目前并没有像Kimi K3技术报告那样系统披露训练Infra,因此不能从这次发布判断它具体如何完成2.4T规模的训练。但推理侧的信息相对丰富。首先是量化。Qwen官方提供BF16和FP8 checkpoint,Inferact进一步提供NVFP4和MXFP4量化版本。BF16/FP8完整版本至少需要两台NVIDIA B300或AMD MI355X节点,而FP4之后可以压缩到单节点部署。第二则是并行。Qwen3.8在推理阶段采用TP(张量并行)、DP(数据并行)和EP(专家并行)的组合。Attention部分更依赖TP,把矩阵计算拆开,MoE部分则依靠EP,把不同专家分布到不同GPU。与此同时,推理框架还需要通过融合通信、专用MoE Kernel(算子)以及高速互联网络,尽量降低专家调度带来的通信开销。Kimi K3面临的是同一个问题。在训练2.8T参数、896专家的Stable LatentMoE时,Moonshot并没有简单扩大传统EP,而是提出MoonEP,让热门专家根据当前负载动态复制到更多GPU上。最后还有MTP。Qwen3.8训练了Multi - Token Prediction能力,示例配置一次预测3个候选Token。如果候选被主模型接受,相当于一次前向传播推进多个Token,从而减少自回归逐Token生成带来的串行延迟。值得注意的是,DeepSeek V4在技术报告中也明确用了MTP。

Qwen3.8后训练信息

相比架构,Qwen这次对后训练具体技术披露得更少,因为config文档里也没这些。但它的后训练目标非常清楚。Qwen在模型卡里直接把Agent Execution列为核心升级方向,强调更强的autonomous planning(自主规划)、对environment feedback(环境反馈)的处理能力,以及更可靠的end - to - end task completion(端到端任务完成)。但基本上现在所有的后训练都会强调这些点。官方公布的成绩也能看到这种倾斜。在Qwen自己的对照中,从Qwen3.7 - Max到3.8 - Max,Terminal Bench 2.1从74.5升至86.6,PaperBench从64.8升至93.0,JobBench从31.3升至53.4,Toolathlon Verified从49.7升至72.5。相比之下,GPQA Diamond只是从92.4变为92.6,HLE从41.4升到43.6。至少从官方评测呈现方式看,这一代最大的增量明显更多发生在Coding Agent、General Agent和专业工作,而不是传统单轮知识与推理Benchmark。另外,Qwen3.8默认开启preserve_thinking,把之前轮次中的推理上下文继续保留下来。这样Agent在一次工具调用之后,不必只拿着最终答案和工具结果重新开始,而可以继续利用此前已经形成的推理状态。Kimi K3也采取了几乎相同的方向。官方明确表示其后训练保留了推理历史。多轮交互和工具调用时,需要把此前的reasoning content和tool calls完整送回模型。两家同时走到这里,说明“保留推理状态”正在从Harness的职责,逐渐转入旗舰Agent模型本身的训练与接口范式。

Qwen3.8开源规则信息

这次开源的Qwen3.8 - 2.4T - A95B并不完全等同于云端Qwen3.8 - Max。开放版本目前是text - only(纯文本),只能运行thinking mode,原生上下文为262K。而官方Qwen3.8 - Max则建立在这一模型之上,额外提供视觉输入、non - thinking模式、默认1M上下文以及官方内置工具。拆开增强版放云,这已经是一个目前开源模型的常见模式了,这样开源也可以保有部分商业能力。比如Minimax H3的开源,就把影响成片质量的素材理解、2K重生成和稀疏注意力实现留在云端。许可证同样发生了变化。Qwen3时代大量模型使用Apache 2.0,而Qwen3.8改成了专门的Qwen3.8 - Max License。许可证仍允许使用、复制、修改、分发、微调、部署、托管甚至出售衍生产品,但如果商业产品超过1亿月活或月收入超过2000万美元,需要在界面显著展示模型名称。如果企业从事Model - as - a - Service或AI Work Assistant业务,并且连续12个月集团收入超过5000万美元,则商业使用前需要另外取得Qwen许可。这和Kimi K3也非常类似。K3同样采用自己的Kimi K3 License,而不是Apache 2.0;同样允许广泛使用和修改,也设置了超大规模商业产品的署名要求以及MaaS业务的额外授权门槛。区别主要在具体阈值和覆盖业务范围。换句话说,到了3T级旗舰模型,两家公司选择的都是open - weight(开放权重)+自定义商业许可,而不是过去小模型时代更加宽松的Apache式开放。

Qwen3.8与Kimi K3对比结论

如果把Qwen3.8和Kimi K3放在一起看,反而可以看到2026年旗舰模型开始出现一种相当明显的收敛。总参数都进入2—3T,激活参数都控制在100B左右。Attention不再全部采用传统Transformer,而是用大约四分之三的递归/线性状态层配合四分之一的全局Attention,上下文目标开始稳定在百万Token。后训练重点转向Coding、Research和长程Agent。最终能不能部署,则越来越依赖FP4/FP8、融合kernel、Expert Parallelism和机架级高速互联。Kimi K3在模型架构上走得更激进一些,它同时引入KDA、AttnRes和Stable LatentMoE;Qwen3.8则更像一次把已经在Qwen3.5验证过的混合注意力架构直接Scale到Max级别,并围绕长程Agent和生产推理把整个生态补齐。但无论如何,他们的架构选择都只是小优化差异,而非大区别了。infra方面反而可能不同更大,但各种并行之间的调剂依然是最重要的问题。配方的底子已经开始收敛,下一个谁能打破这个底子做点新意,就更值得期待了。

AI 中时代下核心概念和行业态势 AI。 阅读详情

相关推荐

数量1倍数特性.pdf

数量1倍数特性.pdf

国产大模型全员实现半步fable5?迈入 2T+ 时代:2.8T Kimi K3 官宣开源,2.4T Qwen 3.8 Preview 上线

Kimi K3 与 Qwen3.8 的发布,意味着国产基础模型竞争已经从"参数规模"进入"工程能力"的新阶段。对于多数开发团队而言,真正需要解决的不只是"选哪个模型",还有模型的持续接入与管理。相比自行维护多个模型接口,通过平台统一调用通常更加省心。例如魔芋 AI MaaS提供统一 API 接入多家主流模型,支持通过一个 API Key 灵活切换不同模型,在兼顾价格、响应速度、稳定性和安全性的同时,也降低了多模型协同和后续迁移的成本。通过链接注册可获百万token包福利。

JJJennie777的博客 630

【高速互连技术】合规性测试规范:物理层信号完整性与链路均衡验证系统设计

内容概要:本文档介绍了分析工具进行实践对照,并关注后续规范版本更新以确保符合最终发布标准。

深度 | Qwen3.8-Max 开源兑现:2.4T 旗舰首次交权,「最强即闭源」规则终结 — 深度分析

Qwen3.8-Max 开源兑现:2.4T 旗舰首次交权,「最强即闭源」规则终结 — 深度分析这是一篇深度研究,不是新闻简报。基于 30+ 个来源的交叉验证。

summerliyang的博客 752

万人睡眠健康与生活方式调查数据集

成年人群睡眠健康与生活方式研究数据集,合成模拟10000行20列单CSV文件,睡眠障碍标记人群占比约四分之一。设置双预测目标:睡眠障碍二分类字段与日间疲劳得分回归字段,可分别开展分类与回归建模。特征字段涵盖年龄、性别、十一种职业类别、每周工作时长、轮班工作标记、自我压力评分、身体质量指数BMI、吸烟状态、每周饮酒量、每日咖啡因摄入毫克数、睡前一小时屏幕使用时间、每周运动分钟数、日均步行数、静息心率、习惯就寝时间点、平均睡眠时长、睡眠质量自评等二十项。数据完整无缺失,结果列与特征列分离清晰,便于目标泄漏防范练习。适用场景:睡眠障碍预测建模、日间疲劳程度回归分析、咖啡因与睡前屏幕对睡眠时长的影响量化、不同职业群体睡眠质量对比研究、逻辑回归与梯度提升模型对比实战等。合成数据不含真实个人信息,适合健康数据分析教学、特征工程练习与机器学习课程实训项目使用。

FANUC-R2000iC165F-六轴机械臂码垛仿真

FANUC_R2000iC165F_六轴机械臂码垛仿真

阿里首次开源 Max 级模型:Qwen3.8-2.4T 的 512 专家与 256K 上下文推理账

对比 Kimi K3 的 896 个专家,Qwen3.8 的专家数量少了一截,但每个专家的体量更大,总激活量反而更接近。对 95B 激活量的大模型来说,吞吐每提升一点都是实打实的成本下降,这也是官方把训练能力沉淀到推理侧的体现。这次 Qwen3.8-2.4T-A95B 开源,是 Qwen 第一个开放权重的 Max 规模模型,更值得注意的是开源规则本身。许可协议 qwen3.8-max 属于开放权重加自定义商业许可,不是宽松的 Apache 式授权,模型可以下载、可以研究、可以微调,但商业使用有明确条款。

deepseek23的博客 512

frontend-design skills

frontend-design skills

阿里千问开源2.4万亿参数旗舰模型,普通开发者能用到吗

8月13日,阿里千问开放了 Qwen3.8-2.4T-A95B 的模型权重,这是千问第一次把 Max 级别的旗舰模型开源。简单说,阿里把自己最强的"大杯"模型底座公开了:总参数 2.4 万亿、每个 Token 激活 950 亿参数,原生上下文 26 万 Token、可扩展到 101 万。这事的看点不在参数数字本身,而在"旗舰开源"这条线又往前推了一步。

chunmiao3032的专栏 166

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?.docx

政府科技管理者在推动区域科技成果转化过程中,如何解决成果供需匹配效率低的问题?

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

国产大模型为何坚守1T参数?算力基建、工程范式与商业逻辑的深度解析

大语言模型的参数规模并非单纯的技术指标,而是受制于算力基础设施、软硬协同工程能力与商业化落地路径的综合结果。从基础概念看,参数量只是模型能力的表征之一;其真实训练与推理效率,取决于千卡集群调度、NVLink/InfiniBand网络延迟、KV Cache内存优化等底层工程细节;技术价值体现在单位算力下的推理延迟、显存利用率与任务适配度;典型应用场景如电商广告文案生成,对响应速度(<150ms)和点击率(CTR)提升更为敏感,而非绝对参数大小;本文聚焦国产1T大模型在广告驱动场景下的精准打击策略,揭示FP8量

weixin_30730053的博客 412

高校技术转移办公室人员如何提升成果转化服务效率?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

人工智能世界观(认知篇)

本文系统梳理了人工智能(AI)的基础知识体系,重点解析了大模型(LLM)的核心原理、技术演进及应用边界。主要内容包括: AI基础认知:从规则驱动到数据驱动的范式转变,强调AI=数据+算法+算力的技术本质,区分了弱AI与通用AI(AGI)的能力差异。 技术发展史:回顾AI七十年发展,从符号主义、专家系统到深度学习的五次技术浪潮,重点分析Transformer架构如何推动大模型革命。 大模型原理:详解LLM的三大支柱(参数量/数据量/算力),揭示自回归生成和注意力机制的工作逻辑,对比GPT与BERT的技术路线差

轻舟已过万重山 566

国央企创新负责人如何利用平台实现技术需求的精准挖掘与匹配?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

自适应多机器人编队规划,以包围和跟踪具有运动和可见性约束的目标(Matlab代码实现)

内容概要:本文提出了一种自适应多机器人编队规划方法,旨在实现对具有运动能力和可见性约束目标的高效包围与持续跟踪,采用Matlab进行算法实现与仿真验证。该方法综合考虑了多机器人系统在动态环境中的协同控制、编队形态生成与保持、障碍物规避以及目标可见性维护等关键问题,通过设计分布式控制律使编队能够根据目标行为和环境变化自适应调整队形与运动轨迹,确保稳定包围并最大化目标观测质量。文中详细阐述了系统的数学建模过程、控制策略设计原理及约束处理机制,并提供了多场景下的仿真实验结果,验证了所提方法在复杂条件下的鲁棒性、灵活性与有效性。; 适合人群:具备自动化、机器人学、控制理论或人工智能等相关领域基础知识的科研人员及研究生,熟悉Matlab编程环境并致力于多智能体系统、协同控制、路径规划或智能无人系统研究的专业人士。; 使用场景及目标:①应用于多机器人系统在监视、围捕、搜救等任务中对移动目标的协同包围与跟踪控制;②为研究分布式编队控制、可见性优化、动态避障与多智能体协同决策等核心技术提供可复现的算法实例与理论支撑; 阅读建议:建议读者结合提供的Matlab代码逐模块分析算法实现细节,重点关注控制律设计、约束建模与仿真结果对比部分,宜在仿真环境中调整参数配置以深入理解系统性能边界与优化潜力。

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)

考虑风光火储+需求响应+P2G多能源系统NSGA-II多目标优化调度(Matlab代码实现)内容概要:本文介绍了基于NSGA-II多目标优化算法对包含风能、光伏、火电、储能系统、需求响应及电转气(P2G)等多种能源形式的综合能源系统进行优化调度的研究,采用Matlab进行代码实现。研究综合考虑了系统运行成本、碳排放、能源利用率等多个优化目标,通过建立精确的数学模型,结合可再生能源出力不确定性、负荷波动以及需求响应机制,实现多能源协同调度的帕累托最优解集求解,旨在提升能源系统的经济性与环保性,并验证所提方法的有效性和实用性。; 适合人群:具备一定电力系统、优化算法及Matlab编程基础的研究生、科研人员以及从事能源系统规划与运行相关工作的工程技术人员。; 使用场景及目标:①应用于多能源互补的综合能源系统优化调度研究;②为实现低碳、高效、可靠的能源供应提供决策支持;③学习和掌握NSGA-II算法在复杂多目标优化问题中的实际应用方法。; 阅读建议:建议读者结合Matlab代码与文中模型描述逐步理解算法实现流程,重点关注目标函数构建、约束处理及Pareto解集的生成与分析,有条件者可进一步修改参数或扩展模型以深化理解。

波克 上海 Unity开发笔试题 2024

主要分为四部分,如果没有准备好,不要点击笔试链接,进入就会自动开始。

z2014z的博客 3407
上一篇: 大疆 Osmo 360 II 发布:方形传感器破局,全景影像体验再升级!
下一篇: 前阿里通义千问技术负责人林俊旸创业,Pragmatik Labs天使轮估值达20亿美元!
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值