13、文本生成解码方法全解析

文本生成解码方法全解析

1. 内存不足时的模型加载

当机器内存不足时，可以通过将 model_name = "gpt-xl" 替换为 model_name = "gpt" 来加载较小版本的 GPT - 2 模型。

2. 解码方法核心

文本生成过程的核心是解码方法，它决定了每个时间步选择哪个标记。语言模型头在每一步为词汇表中的每个标记生成一个对数几率 zt, i ，通过对其应用 softmax 函数，可以得到下一个可能标记 wi 的概率分布：
[P(y_t = w_i | y_{<t}, \theta) = \text{softmax}(z_{t, i})]

大多数解码方法的目标是通过选择一个序列 (\mathbf{y})，使得：
[\mathbf{y} = \text{argmax}_{\mathbf{y}} P(\mathbf{y} | \theta)]
直接找到 (\mathbf{y}) 需要用语言模型评估每一个可能的序列，但目前没有算法能在合理时间内完成，因此通常采用近似方法。

3. 贪心搜索解码

3.1 原理

贪心搜索解码是从模型连续输出中获取离散标记的最简单方法，即在每个时间步贪婪地选择概率最高的标记：
[y_t = \text{argmax} {y_t} P(y_t | y {<t}, \theta)]

3.2 代码实现

以下是使用 GPT -