【大模型微调】reft

reft是字节跳动首次开发（占坑，后续开发）

1. 两次训练。一个是微调，第二个是PPO强化微调

参考链接：

OpenAI o1 强化微调（RFT）开源方案之字节 ReFT - 腾讯云开发者社区-腾讯云因工作重点做LLM的落地，对模型的 Reasoning 推理能力要求较高，也实践过 CoT 微调。而 o1 能推出 RFT 证明这项技术已经生产可用，故接下来就认真研究下业界方案，尤其关注可落地执行的开源方案。 首个拜读的论文是来自字节的 《ReFT: Reasoning with Reinforced Fine-...