weixin_44505713的博客

处理方式还是调整参数，使用Lora微调时的常见参数，q_proj,v_proj,k_proj,gate_proj,up_proj,o_proj,down_proj。上一篇文件写到，macbook微调Lora，该微调方式，同样适用于GPU，只不过在train.py脚本中，针对device，调整为cuda即可。这种tensor的问题，很可能是模型冲突的问题，比如调到一半，然后重新提调，指到相同的路径。其他参数，其实就是常规使用peft进行lora微调的常见参数，以及常见的微调参数，可以对照如下。

这个文件应该指向的是cuda的文件。到cuda的路径看看【笔者cuda的路径为：/usr/local/cuda/lib64】vLLM是一个快速且易于使用的LLM推理和服务库。企业级应用比较普遍，尝试安装相关环境，尝试使用。借鉴楼上大佬的经验参考，将vllm 版本降至0.6.4.post1即可解决。使用vllm启动模型/root/Qwen2.5-7B-Instruct。那么这里只有两种解决方案，要么重装cuda，要么重装vllm。基于cuda跟torch的版本考虑，笔者选择如下版本。