- 博客(3)
- 收藏
- 关注
RSS订阅原创 【Transformer / Attention】-Agent / ML Coding 研究前置知识笔记（1）
适用对象：刚开始学习大模型、Agent、ML Coding、AI for Research 的初学者。学习目标：不是死记概念，而是理解这些知识为什么会影响 Agent 系统的能力、训练和评估。
2026-05-31 21:10:58
308
原创 【RoPE】是什么？理论、公式与完整流程
RoPE（Rotary Position Embedding）是一种 Transformer 位置编码方法。它不是直接给 token embedding 加位置向量，而是在 Attention 计算前，根据 token 的位置对 Q、K 向量做二维旋转。对于每一对维度，RoPE 使用旋转矩阵：其中mmm是 token 位置，θ\thetaθ是对应维度的旋转频率。
2026-05-31 21:03:15
356
原创 【CS336-assignment5】1-任务概论：数学推理模型对齐训练到底在做什么？
本文介绍一个典型的数学推理模型对齐训练任务：如何基于 Qwen2.5-Math-1.5B，在 MATH 数学题数据集上，通过 Zero-shot Evaluation、SFT、Expert Iteration 和 GRPO 逐步提升模型的数学推理能力。本文重点讲清楚任务背景、问题设置、评价指标和整体技术路线，为后续理解 SFT、Expert Iteration 和 GRPO 打基础。
2026-05-28 02:38:12
488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人