Qwen架构改造成Deepseek，再复现R1计划

最新推荐文章于 2025-07-09 18:37:23 发布
最新推荐文章于 2025-07-09 18:37:23 发布
阅读量1k 收藏 12
点赞数 17
CC 4.0 BY-SA版权
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AIBigModel/article/details/145651511 
知乎：孟繁续(已授权)
链接：https://zhuanlan.zhihu.com/p/23355620415

图片

Deepseek使用更低的成本追赶OpenAI的效果

Deepseek使用更低的成本追赶OpenAI的效果

关注Deepseek也有一年多了，当时Mixtral-8x7B模型刚出来，我写了一篇分析其MoE架构的文章。Deepseek不久后推出了他们第一版Deepseek MoE模型，他们的工作人员看到文章加了我的微信；

Mixtral-8x7B 模型挖坑:
https://zhuanlan.zhihu.com/p/674751021

在做Paiss的时候，我就将Deepseek MoE视为主流模型进行了实验对比；

在Deepseek V2出来后，MLA架构巧妙地设计吸引了我。启发我做出CLOVER这篇文章。MLA中存在一个absorb操作，能将Key Weight吸收到Query Weight中，Value Weight吸收到Output Weight中，缺点是合并后参数量会变大。CLOVER先合并再分解，不改变模型结构就能得到正交的注意力头，对剪枝和微调都有很大的好处；

最低0.47元/天 解锁文章
AIBigModel
关注
炸裂推荐！DeepSeek「满血版网站」上线，我用完直接跪了
qq_29520213的博客
02-17 900
671B在复杂任务（如代码生成、数学证明）上显著优于小参数模型（如官方7B的代码生成能力仅为671B的28%）。每次推理仅激活30%的神经元（约等效于200B稠密模型的计算量），相比官方70B稠密模型节省40%计算资源。对Top 10%的高频问题（如天气查询、翻译）预生成答案，响应时间从1.2秒缩短至0.3秒。生成50行Python爬虫代码时，我的正确率为89%，官方70B为72%。在GSM8K测试集上，我的得分为82.5，官方70B为76.3。等蒸馏版或轻量版，其中70B为稠密模型（非MoE）。
阿里这次放大招了：Qwen2.5-Omni-7B 是开源多模态的天花板？
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
03-27 1945
近年来，大模型从单模态文本生成向多模态认知跃迁已成业界共识。OpenAI 发布 GPT-4V 与 Gemini 1.5-Pro，Google DeepMind 推出 Flamingo 和 Gemini 系列，多模态技术逐渐成为 AI 实用化的关键路径。但多模态大模型往往意味着参数暴增、推理开销剧增、无法实时响应等现实问题。如何构建“轻量化、全模态、强泛化、可部署”的 AI 系统，一直是技术团队追求的目标。在这样的背景下，阿里通义团队开源发布的，无疑是一次重量级突破。
本地搭建Qwen和DeepSeek AI助手，打造专属智能体验
python12222_的博客
02-21 1335
因此，本地部署AI助手不仅是一种技术尝试，更是一种对隐私和效率的双重保障。在本地部署AI模型之前，我们需要评估自己的电脑硬件是否能够支持目标模型的运行。如果你的设备满足上述要求，就可以尝试部署Qwen2.5:7B和DeepSeek-R1-7B等中等规模的AI模型了！这两款模型不仅功能强大，而且开源友好，社区支持广泛，非常适合初学者和进阶用户使用。Ollama是一款轻量级的工具，可以帮助我们快速部署和管理本地AI模型。
2.2 主流大模型架构：GPT、DeepSeek、GLM、Claude、QwQ、Qwen2.5-Max等模型的比较与应用场景
keyboard专栏
04-23 2174
OpenAI的GPT系列、DeepSeek的R1和R2、清华大学GLM、Anthropic的Claude、阿里巴巴的QwQ以及Qwen2.5-Max代表了当前大模型技术的顶尖水平。GPT-4o在多模态和通用任务中领先，DeepSeek和QwQ在STEM应用中占优，GLM-4和Qwen2.5-Max在中文和多语言场景中表现出色，Claude则以安全性和长上下文能力著称。最新版本包括GPT-3.5、GPT-4、GPT-4o和GPT-4.5（截至2025年4月），在GPT-3基础上进一步扩展了规模和功能。
极市平台 | Qwen架构改造成Deepseek，再复现R1计划
csdn_xmj的博客
02-22 709
本文来源公众号“极市平台”，仅用于学术分享，侵权删，干货满满。原文链接：Qwen架构改造成Deepseek，再复现R1计划极市导读本文提出一种TransMLA的方法，能将目前主流模型如LLaMA-3，Qwen-2.5等模型中的GQA统统等价变换为能力更强的MLA。 Deepseek使用更低的成本追赶OpenAI的效果关注Deepseek也有一年多了，当时Mixtral-8x7B模型刚出来，我写了一篇分析其MoE架构的文章(https://zhuanlan.zhihu.com/p/674751021)。De
Qwen架构爆改为DeepSeek，再复现R1
本人程序员，不需要做任何吹嘘，只是实在写点程序，写点文档，熟悉各类主流框架，SSM，SpringBoot，Flask，Djiango，Mysql，Sqlite，VUE，Uniapp等，各类程序设计专家，优质作者
02-16 749
Qwen架构爆改为DeepSeek，再复现R1
DeepSeek与Qwen3的详细技术对比分析
平凡的世界
05-22 1807
DeepSeek与Qwen3在技术架构、性能表现、应用生态和部署成本等方面存在显著差异。DeepSeek基于Dense Transformer++架构，引入动态稀疏注意力机制，专注于STEM领域，训练数据以中英双语为主，优化了数学符号和代码语法的嵌入层。Qwen3则采用MoE架构，支持多模态生成，训练数据覆盖100+语种，中文数据占比45%，并包含合成逻辑推理数据。在性能上，Qwen3在中文领域知识和数学能力上略占优势，而DeepSeek在代码生成和长文本处理上表现更优。工程化方面，Qwen3通过MoE稀疏
万字长文详解Qwen2.5-Coder模型
强化学习曾小健
11-30 4839
预训练是Qwen2.5-Coder模型开发中的关键步骤，通过在大规模多样化的数据集上进行训练，使模型学习语言和代码的语法、语义及其间的复杂关系。预训练阶段为模型在后续的微调和特定任务适应中打下坚实的基础。后训练是指在预训练完成后，对模型进行进一步优化和调整的过程，以提升模型在特定任务或应用场景中的性能。
用这条Prompt构建CoT+PoT验证器评估LLM输出，显著提高LLM推理准确性和一致性
python1234_的博客
10-15 1082
即便是最先进的LLM，在复杂的多步推理问题上仍然面临挑战。如何提高LLM的推理准确性和一致性，成为了AI研究者们关注的焦点。尽管LLM在各种自然语言任务中表现出色，但在数学和代码推理等复杂任务中仍然存在明显的短板。研究者们发现，即使是最先进的LLM，在生成单一解决方案时的准确率往往不尽如人意。然而，有趣的是，当允许模型生成多个解决方案时，正确答案通常能够在这些样本中被找到，召回率甚至超过85%。
【亲测免费】 深入探索 Qwen2.5-7B：参数设置与模型效果的秘密
gitblog_02134的博客
12-31 1471
深入探索 Qwen2.5-7B：参数设置与模型效果的秘密 【免费下载链接】Qwen2.5-7B 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Qwen2.5-7B ...
本地玩转 DeepSeek 和 Qwen 最新开源版本（入门+进阶）
阿里巴巴中间件
01-29 1725
今年的春节注定不寻常，开源大模型领域的“国货之光”们接连发布新版本，多项指标对标 OpenAI 的正式版（收费服务）。1月20日，DeepSeek R1 发布，在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。1月27日，Qwen2.5-1M：支持 100万 Token 上下文，其中 14B 的杯型在短文本任务上实现了和 GPT-4o-mini 相近的性能，同时上下文长度是...
万字深度解析：DeepSeek-V3为何成为大模型时代的“速度之王“？
weixin_45322373的博客
02-15 1314
当DeepSeek-V3以每秒生成238个token的速度掠过测试基准时，这场看似简单的数字游戏背后，实则是人类对智能本质认知的范式迭代。这场速度革命揭示的不仅是工程奇迹，更是一面照向未来的棱镜——折射出大模型发展从"暴力堆砌"到"智能涌现"的进化轨迹。光量子混合计算：利用光子芯片突破MoE路由的纳秒级延迟极限神经符号系统：在专家模型中植入形式化推理引擎，实现逻辑与直觉的量子纠缠生物启发架构：模拟大脑白质纤维的拓扑结构，构建三维立体通信网络能源智能体。
生成式AI的伦理困境：深度伪造、版权与创造力归属
Liudef06的博客
07-09 838
摘要 生成式AI技术重塑创作生态的同时，也带来三大伦理困境：深度伪造技术消解身份真实性，引发信任危机；AI生成内容的版权归属模糊，挑战传统独创性标准；AI的创造力本质引发艺术价值重估。全球立法呈现分化趋势，中国推行AI内容标识制度，美国严惩深度伪造犯罪，而日本则探索AI生成物版权归属新路径。未来需构建“技术标识+法律追责”治理体系，平衡知识共享与权利保护，在算法时代守护人类创作的主体性。
突破 30 分！DeepSeek-R1 联合 X-Master，打破AI 评测纪录
最新发布
SJJS_1的博客
07-09 449
“人类最后的考试”，被一支国内团队打破了纪录。
AI正在对硬件互连提出“过分”要求 | Samtec于Keysight开放日深度分享
SamtecChina2023的博客
07-08 1133
是德科技解决方案工程师张晓指出，伴随AI智算网络硬件持续发展，用于算力芯片Scale-up网络机间互连的ACC（Active Copper Cable，有源铜缆）和AEC（Active Electrical Cable，有源电缆），以及应用于内存和存储池化的PCIe AOC（Active Optical Cable，有源光缆）愈发受到关注。，相比离散 SMA 通常可节省 4:1 的空间，其高密度能实现更小的评估板和更短的走线长度，极大地满足了芯片开发中的测试需求，为芯片的研发和优化提供了有力支持。
大型语言模型（LLM）的最新研究进展及相关新信息技术
ZJQ的博客
07-08 754
摘要： 最新LLM研究呈现多模态融合、推理升级与效率优化三大趋势。Google Gemini 2.0系列突破显著：Flash Thinking通过推理时计算提升复杂任务准确率；Gemini Robotics实现机器人零样本控制。OpenAI的GPT-4o强化多模态实时交互，o3模型优化推理效率。轻量化技术（如LLaVA-MoD）与数据选择方法（PDS框架）降低训练成本，TPO技术增强安全对齐。开源领域，Llama 3.1达到GPT-4级别性能。未来研究将聚焦多模态扩展、推理能力提升及商业化落地。
无人机报警器探测模块技术解析
YUNZHUO666的博客
07-08 1030
建立和维护包含各种无人机型号的射频信号特征库、声学特征库、视觉特征库。在操作员界面上，通常会在电子地图上实时显示目标位置、航迹、速度矢量、类型标识和报警状态。视觉特征、可能型号、尺寸估计。根据防护区域的环境、预算、探测距离、精度要求、覆盖范围选择合适的传感器组合和部署方案。雷达杂波：建筑物、树木、车辆、鸟类等产生的地杂波和运动杂波，容易掩盖或误判为无人机。无线电：宽频带高速扫描、复杂电磁环境下的信号检测、信号特征提取、跳频信号跟踪。声学环境复杂：风声、车辆噪音、机械运转声、鸟叫等都可能被误判为无人机声音。
【零基础学AI】第29讲：BERT模型实战 - 情感分析
wiyi9891的专栏
07-07 1064
摘要： 本教程基于BERT模型实现情感分析任务，讲解微调预训练模型的核心流程。首先介绍BERT的双向编码优势及其在情感分析中的适用性，包括上下文理解和情感词捕捉能力。通过HuggingFace Transformers库，逐步演示数据加载（SST-2数据集）、BERT模型初始化、文本预处理（分词与格式化）以及训练配置（学习率2e-5、3轮训练）。代码涵盖完整训练评估流程，最终模型在验证集准确率达91.2%。还提供预测脚本、常见问题解答（如速度优化和准确率提升）及扩展练习建议。
DeepSeek-R1-Distill-Qwen-7B和DeepSeek-R1-Distill-Qwen-14b哪个好
02-07
### 比较 DeepSeek-R1-Distill-Qwen-7B 与 DeepSeek-R1-Distill-Qwen-14B 性能和功能 #### 基准性能对比 在评估 DeepSeek-R1 系列模型的不同版本时，基准测试结果显示较大的模型通常具有更好的表现。对于 DeepSeek-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值