盛世芳华

最大模型用8张卡跑起来很难，需要降低--lora_rank、--lora_alpha、--max_length、--deepspeed、--per_device_train_batch_size、--gradient_accumulation_steps、--dataloader_num_workers才能刚好跑起来，虽然跑起来了，但训练速度却非常的慢。模型合并后，将模型复制到deepseek-vl2/deepseek-ai/目录下，使用deepseek-vl2的web.demo可以跑一下看看运行效果。

-model_name 阿盛 Master Coder \--model_author 盛世芳华 LLM_ROME \微调时，只需指定--dataset为本地csv文件路径即可，csv文件的格式如下：instruction是问题，input大概能理解为问题背景，output为答案，数据集准备好以后就可以直接进行训练。ms-swift/docs/source/LLM/自定义与拓展.md at main · modelscope/ms-swift (github.com)

CUDA相关环境已搭建完成，不会装CUDA环境可参照我的其它文章；显卡：4张3090。