duxiaodong1122的博客

本文通过对Deepseek-R1技术报告的解读，带你深入理解强化学习如何在Deepseek-R1中重塑LLM的post-training进程

Parameter-EfficientFine-Tuning（PEFT，参数高效微调）技术旨在通过最小化微调参数的数量和计算复杂度，来提高预训练模型在新任务上的性能，从而缓解大型预训练模型的训练成本。

在大模型时代，embedding（向量表示）的重要性愈发凸显。不论是在RAG（Retrieval-AugmentedGeneration）系统，还是在跨模态任务中都扮演着关键角色。本文带你详细了解文本向量的前世今生，让你能够更好地了解向量，使用向量。

METAGPT首先提出了模拟人类标准化操作流程（SOPs）的多agent协作框架去解决AI自动化编程问题，有效地解决了基于聊天的多agent系统面临的级联幻觉问题。同时提出了基于结构化信息的跨agent通信协议，要求不同的agent按照其特定角色和背景提供必要的结构化输出。

本文是参与[DatawhaleTiny-universe组队学习](https://github.com/datawhalechina/tiny-universe)的学习笔记第一篇，笔记中的代码均参考transformers-4.39.3中的Qwen2模型实现，基于torch开发，代码路径为transformers-4.39.3/src/transformers/models/qwen2。

为什么要读这篇论文？学习一个coding agent的技术架构，建立对coding agent架构的基本认知。在此基础上再进一步探究MetaGPT、LDB、AgentCoder等业界SOTA coding agent的技术架构。