现代机器学习研究进展 第二部分 模型与架构 第12章 — 自回归概率因式分解与采样机制

1 自回归概率因式分解与采样机制

1.1 概念与概率分解（定理与证明）

1.2 祖先采样（Ancestral Sampling）：正确性证明

1.3 温度、Top-k、Nucleus（Top-p）采样与分布变换

1.4 采样策略的概率影响与收敛性评论

• 使用温度和截断改变的是条件分布，继而改变整个联合分布的支持与概率质量。若希望严格遵循训练时最大似然估计的条件分布，不应做截断或温度变换；实际生成为了多样性/可控性常需修改。

• 若对概率一致性（例如用于概率评估或贝叶斯推断）有严格需求，应使用无偏的祖先采样（即不做截断/温度）。

---

2 Transformer-XL、memory-augmented 方法与长程依赖处理

2.1 Tr