自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

攻城狮的家园

一只攻城狮的成长历程

博客等级

码龄12年

70
原创

267
点赞

1302
收藏

322
粉丝

关注

私信

热门文章

分类专栏

最新评论

10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
jspenliany: 本地成功利用其他数据进行了lora微调。但是对源代码进行了部分更新。 model = AutoModelForCausalLM.from_pretrained('./deepseek-ai/deepseek-llm-7b-chat/', trust_remote_code=True, torch_dtype=torch.float16, device_map="auto") # 开启梯度 model.gradient_checkpointing_enable(gradient_checkpointing_kwargs={"use_reentrant": False}) r=16, # LoRA 矩阵的秩，控制训练参数量，常用值为 4 或 8 lora_alpha=32, # Lora alaph，具体作用参见 Lora 原理:控制更新幅度的超参数 learning_rate=2e-5, # 学习率 fp16=True, # 开启半精度浮点数训练，减少显存使用 save_total_limit=1, # 限制保存的检查点数量，节省磁盘空间 save_on_each_node=True, #gradient_checkpointing=True, #gradient_checkpointing_kwargs={"use_reentrant": False}, max_grad_norm=True inputs = tokenizer(f"User: {text}\n\n", return_token_type_ids=False, return_tensors="pt") 成功进行了微调。如有疑问请留言
10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
jspenliany: 你好，我在训练的时候报如下信息。是缺少配置文件导致的吗？ UserWarning : Could not find a config file in ./deepseek-ai/deepseek-llm-7b-chat/ -will assume that the vocabulary was not modified
10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
jspenliany: 你也要微调吗。我最近在搞这个
10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
jspenliany: 来一份数据集。想自己训练一下
10分钟完成情侣约会DeepSeek模型微调，从此告别情场小白
2201_75991920: 提供一份数据集吧。像按照你这个方式训练

python优化

关注

关注数：文章数：6 文章阅读量：14336 文章收藏量：33

作者: 阿三先生

好学积极上进乐观

展开

专栏收录文章