前几天实习找着找着,想到要不直接quit找全职工作尽早占坑(2333,各位怎么看呢?
现在的开源对训练过程和数据情况都藏着掖着,比如昨天开源的grok-1和最近在follow的一个工作
感觉回到了古早时期,需要自己根据文章进行复现(笑
今天主要工作是根据follow的工作,进行复现:
复现计划:
- 数据集准备
- 跑通follow工作的前置代码
- 准备一个跑通的训练代码(不管正确性)
- 跑一次训练
- 进一步阅读论文,更正训练代码,迭代
今天目标是完成前面两个部分
奇怪的bug1:我环境中的cuda-11.8中的cublas_v2.h不见了(挠头
重装了一遍cuda-11.8
奇怪的bug2:follow的项目这哥们居然改第三库里面的代码而不是进行继承、重载,不愧是搞AI的哈哈哈(沉默