- 博客(4)
- 收藏
- 关注
RSS订阅原创 Gemma 4 微调 商品分类
这样，就可以实现在不知道数据集标签的数量和具体标签的情况下维护一个对应的标签字典，适配之前情绪数据集微调的后续训练操作。模型加载、LoRA 配置这些都是套路，照着写就行。但数据不一样，每个数据集格式都不同，坑也不一样，每次都得重新折腾。之后如果有时间也会尝试分析一下bad case，看看是否有哪些地方可以进一步优化一下的。最终也是成功完成了整个模型的新数据集的切换与适配，本次实现最大的感受就是，在分类任务上将输出标签固定，不让模型自行发挥。
2026-06-24 21:17:25
237
原创 LoRA大模型微调笔记-HuggingFace+魔塔
微调步骤可以简单概括为：(加载数据集 --> 数据预处理) --> 加载模型 --> 配置LoRA --> 配置训练参数 --> 模型训练 --> 模型验证，其中模型训练前的步骤顺序不唯一。完成了微调训练数据的加载和预训练模型的加载后，就可以着手进行LoRA和微调训练参数的配置了，LoRA配置使用peft库中的LoraConfig进行设置，这里作为演示，只是简单的对模型的线性层进行微调。最终结果如下图，在当前任务中，模型性能得到了显著的提升，验证了微调的有效性。
2026-06-15 11:53:03
197
原创 魔塔+vLLM部署大模型学习笔记
至此，我们已经完成了大模型的下载（此处忽略了pytorch等深度学习框架环境搭建），但是目前我们只是下载了大模型的参数，无法直接使用，需要通过装载以进行进一步推理，这里我们选用vLLM推理框架进行参数的装载。其中E4B为大模型的参数量大小，gemma4可选参数量有E2B、E4B、26B 和 31B，E4B中的E代表有效参数，4B代表参数量约为40亿的量级。为验证大模型成功部署，我们输入“你是谁？此时当前终端作为服务器已经拉起了大模型的在线服务，我们需要新建一个终端来访问部署好的大模型服务。
2026-06-11 10:59:26
357
原创 错误记录：Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same
根据我的理解，只有模型中被正确注册的模块 （properly registered）可以被正确的初始化到想要的设备上，而一般的list类型并不属于pytorch中的模块，所以并不算是被正确注册了。可以看到所有的自定义的模块都在__init__函数进行初始化了，似乎这个也不是问题所在。那么到底是哪里的板块没有被成功初始化呢？打印出来似乎也没什么问题。但是这里又说是模型参数和输入不在同一设备上，那么应该就是自定义模型的问题。
2024-09-19 18:05:46
1344
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人