zag666的博客

如今，Transformer 仍是舞台中央的王者，但 “唯一解” 的神话正在悄然瓦解。一场关乎 AI 未来成本、速度与落地广度的架构之战，已在无声中打响。谁能在性能与效率的天平上找到终极平衡，或许就将定义下一个十年的技术航向。

如表5所示，通过直接蒸馏DeepSeek-R1的输出，高效的小模型DeepSeek-R1-7B（即DeepSeek-R1-Distill-Qwen-7B，下文采用类似简称）即可全面超越GPT-4o-0513等非推理优化模型。值得注意的是，若对蒸馏模型施加强化学习（RL），性能可获进一步跃升。无需构建和维护高质量的 SFT 数据集，而是直接让模型在强化学习的环境中进行自我探索，通过与环境的互动，自主的去发现和学习解决复杂问题的能力，就好比一个初学者在没有老师的指导下通过不断的尝试和错误，来掌握一门新的技能。

2025年1月20日，DeepSeek-R1 发布，并同步**开源**模型权重。截至目前，DeepSeek 发布的 iOS 应用甚至超越了 ChatGPT 的官方应用，直接登顶 AppStore。DeepSeek-R1 一经发布，各种资讯已经铺天盖地，那就让我们一起来精读一下论文，看看引爆AI圈的 DeepSeek-R1 是如何炼成的？

现如今，AI正以前所未有的影响力重塑全球产业和社会发展的格局。它不仅仅是科技领域的一次革命，更被广泛认为是继电力革命之后的又一次重大飞跃，有人甚至将其比作“第二次地球文明革命”。AI的浪潮正席卷每一个角落，深刻地改变我们的工作和生活方式。它不仅是一种技术进步，更是推动整个人类文明向前发展的新动力。

Embedding模型作为RAG中检索召回的重要一环，扮演着极其关键的角色，直接影响到信息检索的效果和生成文本的质量。更加准确的Embedding模型在抑制模型幻觉、提升封闭领域回答能力等方面都能发挥优势。