m0_67708072的博客

visual instruction tuning：目的是提高模型的听从指令的能力visual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。

1 针对一个问题，生成多个答案：针对某个问题，由一个大语言模型生成多个答案/或不同大语言模型针对该问题生成答案。上述人工/标注模型 起到标注顺序的作用，给定排序的真实标签。2 生成有排序的数据集：得到了一个问题的多个答案，人工/标注模型 对好的答案打高分，差的答案打低分，这样相当于根据答案的好坏对多个答案进行排序（ranking）。3 训练奖励模型，让奖励模型对大语言模型生成的答案打分：让奖励模型学习什么是好答案，什么是坏答案，对好的答案给高分。