【大模型篇】万字长文从OpenAI到DeepSeek：大模型发展趋势及原理解读

已于 2025-03-05 13:15:52 修改
阅读量341 收藏
点赞数 8
CC 4.0 BY-SA版权
分类专栏： 大模型理论和实战 DeepSeek技术解析和实战 文章标签： 人工智能 机器学习 架构
于 2025-03-04 20:53:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengzizi/article/details/146025935

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。分享AI算法干货、技术心得。
欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

目录

  1. 引言：大模型的革命性浪潮
  2. 核心技术节点：从Transformer到生成式AI
    2.1 Transformer架构的范式革命
    2.2 生成式AI的底层逻辑
    2.3 神经网络层级设计
  3. 架构演进：OpenAI的技术突破
    3.1 GPT系列的四个发展阶段
    3.2 关键技术创新
  4. 架构革新：DeepSeek的突破
    4.1 知识自验证机制
    4.2 混合专家（MoE）架构
  5. 原理深度解析
    5.1 自注意力机制的数学表达
    5.2 多模态融合的实现路径
  6. 未来趋势与挑战
  7. 参考文献

1. 引言：大模型的革命性浪潮

人工智能领域自2017年Transformer架构提出后，经历了从专用模型到通用大模型的范式跃迁。以OpenAI的GPT系列和DeepSeek的MoE架构为代表，大模型通过参数规模突破（从亿级到万亿级）和

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度探索 AI 新纪元：从OpenAI 的 o1 和 o1-pro到 DeepSeek R1和DeepSeek V3
k_anjing的博客
02-06 784
在当今数字化浪潮中，人工智能（AI）正以前所未有的速度改变着我们的世界。从智能聊天机器人到复杂的数据分析，AI 技术的应用场景不断拓展，为各行各业带来了前所未有的机遇和挑战。然而，对于国内用户而言，获取和使用一些国际领先的 AI 服务，如 OpenAI 的 ChatGPT，往往面临诸多限制。今天，我们将深入探讨如何通过小豆包 API 平台，轻松接入和使用 DeepSeek R1 和 DeepSeek V3 等先进 AI 模型，开启 AI 新纪元的大门。
万字长文深度解读：DeepSeek R1的架构、核心技术和使用指南
大F子的智能小课
02-06 5793
DeepSeek-R1 项目由杭州深度求索公司（DeepSeek）推出，旨在打造高性能的 AI 推理模型，以满足复杂任务场景下的高效推理需求。该项目的背景源于当前人工智能领域对推理能力的高要求，尤其是在数学、代码和自然语言推理等任务上，传统模型往往存在推理能力不足或成本过高的问题。DeepSeek-R1 的目标是通过大规模强化学习技术，仅需极少量标注数据，便能在这些任务上取得卓越表现，同时保持较低的推理成本，以推动人工智能技术的普及和应用。强化学习驱动的推理能力提升。
如何从 OpenAI 平滑迁移到 DeepSeek
xiangzhihong8的专栏
02-09 872
Higress 基于 API 网关的消费者鉴权能力支持 API Key 的二次分租，使用者在对外提供服务时，可以屏蔽掉模型提供商的 API Key，在网关上签发自己的 API Key 供用户使用，从而可以兼容历史调用方的 API Key；相比于开源 Higress AI 网关，云原生 API 网关 AI API 具有更强大的可观测能力以及更便捷的策略配置能力，用户可一键接入内容安全、限流、缓存等功能，无需填写 yaml 配置。而 Higress 作为一款开源的 AI 网关工具，可以提供基于。
万字长文详解DeepSeek-R1模型工作原理
python1234_的博客
02-11 1480
经过这些步骤后，得到了名为 DeepSeek-R1 的检查点，其在推理任务上的表现与 OpenAI-o1-1217 相当。例如，在 AIME 基准测试中，应用多数投票后，DeepSeek-R1-Zero 的性能从 71.0% 提升至 86.7%，超越了 OpenAI-o1-0912 的表现。DeepSeek选择了多个强基线模型进行了全面比较，包括 DeepSeek-V3、Claude-Sonnet-3.5-1022、GPT-4o-0513、OpenAI-o1-mini 和 OpenAI-o1-1217。
从DeepSeek到K2：大模型架构如何进化出惊人效果？
Trb701012的博客
08-01 815
开源大模型架构演进速览（2025） 2025年主流开源大语言模型（LLM）在架构设计上呈现多样化创新： DeepSeek-V3/R1：采用多头潜在注意力（MLA）替代分组查询注意力（GQA），结合混合专家（MoE）架构，6710亿总参数仅激活370亿推理，显著提升效率。 OLMo2：坚持传统多头注意力（MHA），引入Post-Norm和QK-Norm设计以增强训练稳定性，注重透明性（公开训练数据与代码）。 Gemma3：优化滑动窗口注意力，调整全局/局部注意力比例为5:1，减少KV缓存内存占用，同时结合Pr
信息化与数字化 | 万字长文：OCR/多模态大模型评测体系全景
csdn_xmj的博客
05-21 1565
本文将系统梳理当前主流的多模态评测基准，包括 OCRBench v2、SEED-Bench-2-Plus、ConTextual、Fox、TableVQA-Bench、ComTQA、MMTab-eval、ChartY、ChartX、MMC、CC-OCR、Video-MME、MME、BLINK、ChEF、GenCeption、DesignQA、MMT-Bench与Omni AI OCR Benchmark 等，通过对其提出背景、作者机构、任务设计、评估指标、模型适用性等方面进行分析比较，帮助读者全面理解当前多模
【万字长文】银行信贷报告新篇章：Deepseek自动生成方案，效率与精准度双重提升！
m0_63171455的博客
05-29 1144
金融科技快速发展背景下，传统信贷调查报告撰写面临效率低（单份耗时4-7天）、质量不稳定（23%贷后问题源于报告缺陷）和合规风险高等痛点。基于DeepSeek大模型的智能生成系统通过自然语言处理与银行业知识图谱融合，实现多源数据自动解析、结构化风险分析及动态合规适配，将报告生成时间缩短至15分钟，关键信息完整度提升至98.7%，风险识别率提高45%。系统覆盖贷前至贷后全流程文档，支持财务指标计算、行业对比分析等智能功能，显著降低人力成本与审批周期（从7天缩至48小时），同时通过内置1200+风控规则提升风险防
2025年8种主流大模型架构深度解析：从DeepSeek-V3到Kimi K2
图灵教育
07-22 1859
Llama 4 Maverick 采用的是更经典的 MoE 结构，使用更少但更大的专家（每次激活 2 个，每个专家的隐藏层大小为 8192），而 DeepSeek-V3 则是每次激活 9 个专家，每个隐藏层大小为 2048。模型）的介绍在这里再次派上用场。举个例子：DeepSeek-V3 的每层 MoE 有 256 个专家，总参数 6710 亿，但推理时每次只激活 9 个专家（包括 1 个共享专家和 8 个由路由器选出的），也就是说，实际只用了约 370 亿参数——远低于全部启用时的 6710 亿。
【万字长文】大模型开源开发全景与趋势解读
m0_70486148的博客
06-03 993
当我们看到这些数据趋势的时候，一个词浮现在我的眼前——黑客松（Hackathon），AI 领域的项目，快速地出现、快速地停更，他们似乎在做一场真实市场里的黑客松，那么，什么领域涌现了最多项目，哪些方面是停更的重灾区，哪些项目幸存了，激烈竞争的项目们如今怎么样了，我们都尝试着在这份趋势报告里叙述一二。从近十年来 AI、云原生、数据库、前端、操作系统这五大技术领域的发展曲线来看，AI 类项目在近些年得到了快速发展，尤其在 2022 年后发展迅猛。
万字长文！全网最全的 DeepSeek 使用指南，看完 DeepSeek 效率翻倍（建议收藏，我不信看完你还不会用！）
qq_63911508的博客
02-18 6199
万字长文！全网最全的 DeepSeek 使用指南，看完 DeepSeek 效率翻倍（建议收藏，我不信看完你还不会用！）
【15】Transformers快速入门：添加自定义 Token
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
08-13 1060
预训练模型的词表是固定的。它不认识你自定义的特殊标记（如实体标记、领域术语、新表情符号等）。掌握如何向预训练模型的分词器和词表中添加新的 Token（包括普通 Token 和特殊 Token），理解其对模型的影响，并学会正确调整模型权重。新 Token 的 ID（30523, 30524）在模型的 Embedding 矩阵里。想象一下，你给模型一个任务：“找出文本里的汽车和隧道实体”。增加了词表大小（比如从 30522 增加到 30524），模型的 Embedding 矩阵（这里标记了一个实体！
【论文阅读】基于表面肌电信号的下肢多关节运动估计：一种深度卷积神经网络方法
qq_60423839的博客
08-14 366
本文提出一种基于多通道表面肌电信号(sEMG)和深度卷积神经网络(CNN)的下肢多关节运动估计方法。研究采集了骑行和步行任务中的7通道sEMG信号，通过带通滤波、全波整流等预处理后构建CNN模型，用于估计髋、膝、踝关节角度。实验结果表明，所提CNN模型在骑行任务中三个关节的估计均方根误差分别为3.8886°、2.8199°和3.1148°，精度显著优于传统BPNN和RBFNN模型。该研究为下肢康复外骨骼的人机交互控制提供了理论基础，未来将探索sEMG时频特征对模型的影响及非理想环境下的意图识别问题。
敏感数据目录是什么？如何快速构建企业自身的敏感数据目录
yuandiansec的博客
08-13 944
敏感数据目录能力是数据安全的起点
从静态模型到数字生命体：自进化AI Agent综述
zenRRan的博客
08-13 787
部署后无法适应动态环境（如用户需求变化、新工具出现）。例如，医疗诊断智能体遇到新疾病时需工程师手动调整，效率低下。近年大型语言模型（LLM）的突破催生了AI智能体的发展，它们能自主规划、使用工具解决复杂任务（如编程、科研）。：树状思维（Tree-of-Thought）探索多推理路径，避免单一错误。：将自然语言反馈视为“梯度”，反向优化提示（如TextGrad框架）。：将提示视为基因，通过突变、交叉筛选最优解（如EvoPrompt）。：AI智能体不仅是工具，更是能持续学习、适应、协作的“数字生命体”。
CVPR 2025 | 即插即用，极简数据蒸馏，速度up20倍，GPU占用仅2G
AImokuai的博客
08-11 1790
本文提出了一种创新的神经特征函数匹配（NCFM）方法用于高效数据集蒸馏。该方法通过构建minmax对抗优化框架，引入神经特征函数差异（NCFD）作为新的分布度量指标，在复数空间实现数据特征的对齐。NCFM具有三大创新点：1）基于复数相位和振幅解耦的神经特征函数度量；2）动态采样网络实现高效计算；3）层级式特征对齐机制。实验表明，在CIFAR-100等数据集上，NCFM相比现有方法内存消耗降低300倍，处理速度提升20倍，同时保持无损压缩效果，为低资源环境下的模型训练提供了新范式。该方法在边缘计算、隐私保护数
【Python】文本相似度计算方法全解析：从理论到实践
采菊东篱下，Python满乾坤！
08-12 1731
在自然语言处理、信息检索和数据清洗等领域，计算文本相似度是一个基础而重要的任务。无论是检测重复文档、拼写纠错，还是推荐系统，都需要准确地衡量两个文本之间的相似程度。本文将深入解析多种文本相似度计算方法，帮助您选择最适合的算法。文本相似度是指两个文本在内容、结构或语义上的相近程度。通常用0到1之间的数值表示，0表示完全不同，1表示完全相同。文本长度: 短文本适合 Dice 系数，长文本适合余弦相似度计算性能: 汉明距离最快，Levenshtein 较慢但精确应用场景。
直播预告｜鸿蒙生态中的AI新玩法
GitCode
08-13 727
将分享如何利用AI技术为鸿蒙生态注入新活力，打造更智能的产品体验。从理论到实践，深入解析智能体的核心逻辑及其在鸿蒙生态中的应用场景。无论你是初学者还是资深开发者，这场直播都能为你带来启发与收获！手把手教你如何基于鸿蒙系统，快速搭建属于自己的智能体项目！高级开发者必备的实战经验与优化策略，助你突破技术瓶颈。想知道鸿蒙生态里 AI 能玩出啥新花样？鸿蒙生态中的 AI 新玩法-优快云直播。对智能硬件与生态开发感兴趣的极客。黄紫妍 | HarmonyOS。AI赋能鸿蒙产品开发。
大模型速度优化入口
最新发布
weixin_36378508的博客
08-14 792
如果你固定了计算能力，要得到TTFT和Throughput等数据，你需要知道是在Prefilling阶段和Decoding的计算量分别是多少。大模型压缩方式【GPU还是CPU】如何快速估计推理计算量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值