4090体验DeepSeek啊哈时刻

模型训练的一般理解：

R1-Zero, R1 的训练过程：

从V3到R1-Zero只采用来的RL训练，按照DeepSeek-V3 的技术报告预估V3最后训练耗费560万美元左右，R1-Zero RL 后训练过程费用应该10万美元左右，目前看ROI非常高。
以下Notebook 是 Qwen 0.5b on GRPO 的改进版本，可以在4090 上体验DeepSeek-R1-Zero的RL训练过程。

jupyter notebook 文件：📎GRPO.ipynb. 或从github 下载代码：

git clone git clone https://github.com/OneThingAI/ahamoment.git

复现（细节论文见 论文）：

1，创建vLLM 实例：

注册登录新人算力专享福利 - OneThingAI算力云

点击顶部导航栏中【镜像中心】官方镜像，点击更多镜像，选择LLM推理引擎官方版:V1，进行创建实例

2、实例运行状态下，打开jupyter，上传notebook文件将下载好的

jupyter notebook 文件：📎GRPO.ipynb. 

3，执行

4, 观察输出结果