报告下载丨量子位：2025年大模型架构创新研究报告

大模型架构历经多阶段演变。早期 RNN 及其变体主导 NLP，但有训练难等弊端。2017 年 Transformer 架构开启新时代，预训练 + 微调成主流，模型路线分化。后参数规模不断突破，可随着模型增大，Transformer 架构及预训练范式遇瓶颈。如今，创新架构探索兴起。其核心痛点在于算力消耗大、端侧部署难、长序列效率低。创新路径上，Transformer 架构改进，如 Attention 机制等创新；非 Transformer 架构涌现，像新型 RNN、CNN 路径及其他受启发路径。架构创新呈现混合 Hybrid 架构成趋势，目前处于新技术突破前夜。不同派别对架构发展有不同观点，诸多高校和企业参与其中，如 DeepSeek 等模型为代表 。