<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[duckquackquack的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/duckquackquack</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; duckquackquack]]></copyright><item><title><![CDATA[【Transformer / Attention】-Agent / ML Coding 研究前置知识笔记（1）]]></title><link>https://blog.youkuaiyun.com/duckquackquack/article/details/161571022</link><guid>https://blog.youkuaiyun.com/duckquackquack/article/details/161571022</guid><author>duckquackquack</author><pubDate>Sun, 31 May 2026 21:10:58 +0800</pubDate><description><![CDATA[适用对象：刚开始学习大模型、Agent、ML Coding、AI for Research 的初学者。学习目标：不是死记概念，而是理解这些知识为什么会影响 Agent 系统的能力、训练和评估。]]></description><category></category></item><item><title><![CDATA[【RoPE】是什么？理论、公式与完整流程]]></title><link>https://blog.youkuaiyun.com/duckquackquack/article/details/161571564</link><guid>https://blog.youkuaiyun.com/duckquackquack/article/details/161571564</guid><author>duckquackquack</author><pubDate>Sun, 31 May 2026 21:03:15 +0800</pubDate><description><![CDATA[RoPE（Rotary Position Embedding）是一种 Transformer 位置编码方法。它不是直接给 token embedding 加位置向量，而是在 Attention 计算前，根据 token 的位置对 Q、K 向量做二维旋转。对于每一对维度，RoPE 使用旋转矩阵：其中mmm是 token 位置，θ\thetaθ是对应维度的旋转频率。]]></description><category></category></item><item><title><![CDATA[【CS336-assignment5】1-任务概论：数学推理模型对齐训练到底在做什么？]]></title><link>https://blog.youkuaiyun.com/duckquackquack/article/details/161467755</link><guid>https://blog.youkuaiyun.com/duckquackquack/article/details/161467755</guid><author>duckquackquack</author><pubDate>Thu, 28 May 2026 02:38:12 +0800</pubDate><description><![CDATA[本文介绍一个典型的数学推理模型对齐训练任务：如何基于 Qwen2.5-Math-1.5B，在 MATH 数学题数据集上，通过 Zero-shot Evaluation、SFT、Expert Iteration 和 GRPO 逐步提升模型的数学推理能力。本文重点讲清楚任务背景、问题设置、评价指标和整体技术路线，为后续理解 SFT、Expert Iteration 和 GRPO 打基础。]]></description><category></category></item></channel></rss>