5、生成式AI模型：从基础到应用的全面解析

生成式AI模型：从基础到应用的全面解析

1. 温度参数对生成式AI的影响

在生成式AI模型中，改变温度会改变下一个标记的概率分布。模型会从修改后的概率分布中选择下一个标记，可采用贪心采样或随机采样，这与温度参数是相互独立的。

需要注意的是，温度值过低，模型可能会产生更多重复内容；温度值过高，模型可能会生成无意义的输出。通常，从温度值1开始是一个不错的策略。

2. 生成式AI模型的优化技巧

为了让生成式AI模型发挥最佳性能，可以采用提示工程和尝试不同的推理配置参数。提示工程通过使用措辞更好的提示、上下文学习示例和逐步逻辑推理等方法，引导生成式基础模型提供更相关、准确的完成内容。

不过，提示工程、上下文学习和推理参数这些技术实际上并不会修改生成式模型的权重。因此，可能需要在自己的数据集上训练或微调生成式模型，以帮助它更好地理解特定领域和生成用例。

3. 大型语言基础模型的训练

训练一个具有数十亿参数的大型语言模型（即预训练）是一项计算密集型任务，需要数百万的GPU计算小时、数万亿的数据标记，还需要极大的耐心。

例如，在训练BloombergGPT模型时，研究人员以Chinchilla缩放定律为起点，但仍需要大量的反复试验。该模型使用了130万GPU小时的计算预算，借助亚马逊SageMaker的大型分布式GPU实例集群进行训练。

以下是BloombergGPT训练数据的分布情况：
| 数据来源 | 大致占比 |
| — | — |
| 金融数据（公共和私有） - 网络 | 42% |
| 金融数据（公共和私有） - 新闻