《实验细节》上手使用PEFT库方法和常见出错问题

已于 2023-10-18 20:00:08 修改
阅读量809 收藏
点赞数 1
分类专栏： NLP 文章标签： PEFT hugging face 代码 常见错误
于 2023-10-18 11:18:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_44833392/article/details/133901689
版权
NLP 专栏收录该内容
89 篇文章 ¥29.90 ¥99.00
订阅专栏
本文介绍了PEFT库的安装、常用命令，详细讲解了如何保存和加载PEFT模型，并针对遇到的问题如'ValueError: Please specify target_modules in peft_config'提供了解决方案，帮助读者快速掌握PEFT的使用技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
ValueError: Please specify `target_modules` in `peft_config`解决方案
weixin_43178406的博客
04-27 4万+
本文主要介绍了ValueError: Please specify `target_modules` in `peft_config`解决方案，希望能对使用peft的同学们有所帮助。 在这里插入图片描述 文章目录 1. 问题描述 2. 解决方案
【peft】用peft调大模型，加载checkpoint失败，报ValueError: Can‘t find a valid checkpoint at
weixin_43857772的博客
07-26 1935
然后报错：raise ValueError(f"Can't find a valid checkpoint at {resume_from_checkpoint}")ValueError: Can't find a valid checkpoint at checkpoint目录。解决，新建一个Trainer子类，子类里重写了加载检查点的函数，调用时用这个子类来创建trainer对象。就是_load_from_checkpoint有点问题。
关于ValueError: `validation_steps=None` is only valid for a generator based on the `keras.utils...
sdu_jinye的博客
07-09 5117
关于这个错误也是很奇葩，其实很简单，在我这出现的原因是由于validation-data数据过少，而batchsize的数目太大，导致两者相除的结果一直为0，所以会在fit_generator函数里面报错。针对这种情况，一般在数据量大的时候不会发生，但是在数据量非常少（比如我只选了几十个数据做测试网络用）就会出现这种情况，所以鉴于这种情况下，可以调整batchsize为1，先用来测试，然后在网络调...
算法编译遇到的问题
weixin_42415578的博客
02-18 758
root@ubuntu:/home/ticy/share/INP-Napa_Earbuds_am3d_for_ces0214# make -j4 Makefile:193: *** Please specify the target in the command line: T=<targetName>.  Stop. root@ubuntu:/home/ticy/share/INP-...
pyinstaller 打包fastapi项目成exe后，ValueError: Unable to configure
qq_16082527的博客
12-13 1279
使用pyinstaller打包python项目时，遇到logging配置的问题，解决办法。
【自然语言处理】大模型高效微调：PEFT 使用案例
wzk4869的博客
08-09 6135
【自然语言处理】大模型高效微调：PEFT 使用案例
PEFT配置文件LoraConfig中的target_modules参数详解
年少的勇气已经用完，剩下的就是三思而后行
08-07 5115
如果我们采用的是未在实现定义的大语言模型列表内，因此必须手动显示指定。如果你本地安装了pdft安装包，则可以在以下位置看到。针对了部分预制的大语言模型，定义了默认的。
ValueError: PEFT backend is required for this method. Please install the latest version of PEFT
duoyasong5907的博客
09-27 401
笔者这样做后就解决问题了。
3.7 PEFT 进阶操作
a131529的博客
10-16 781
nn.ReLU(),net10.weight0.bias2.weight2.biasnn.ReLU(),net20.weight0.bias2.weight2.bias本节中，我们为2个适配器分别命名为"loraA"和"loraB"，这允许我们在同一个主模型中加载多个适配器，并通过适配器名称（激活）在推理时选择使用哪个适配器。
peft微调参数解析
qq_43605231的博客
01-24 911
本文讨论用peft库进行大模型微调，采取LoRA和P-Tuning(v2)两种方式。
python打包exe报错：Fatal error: PyInstaller does not include a pre-compiled bootloader for your platform.
escaping的博客
10-08 4808
pyinstaller 打包的时候报错： Fatal error: PyInstaller does not include a pre-compiled bootloader for your platform. For more details and instructions how to build the bootloader see 这个问题的具体原因我也不知道，看了很多文章都没有解决。直到这一篇：Pyinstaller缺少引导加载程序 我创建了个新的虚拟环境，下载pyinstaller源码包安
使用 LoRA 和 Hugging Face 高效训练大语言模型
zenRRan的博客
04-14 2009
来自：Hugging Face进NLP群—>加入NLP交流群在本文中，我们将展示如何使用 大语言模型低秩适配 (Low-Rank Adaptation of Large Language Models，LoRA) 技术在单 GPU 上微调 110 亿参数的 FLAN-T5 XXL 模型。在此过程中，我们会使用到 Hugging Face 的 Transformers、Accelerate ...
对 ChatGLM-6B 做 LoRA Fine-tuning
热门推荐
phycoding的博客
03-31 1万+
ChatGLM-6B 是一个支持中英双语的对话语言模型，基于 GLM (General Language Model)。它只有 62 亿个参数，量化后最低 (INT4 量化) 只需要 6GB 的显存，完全可以部署到消费级显卡上。在实际使用这个模型一段时间以后，我们发现模型的对话表现能力确实非常不错。那么，基于这个模型做 Fine-tuning 就非常有价值了。
特制自己的ChatGPT：多接口统一的轻量级LLM-IFT平台
Paper weekly
04-01 4597
©PaperWeekly 原创 ·作者 |佀庆一单位 |中科院信息工程研究所研究方向 |视觉问答项目简称：Alpaca-CoT（当羊驼遇上思维链）项目标题：Alpaca-CoT: An Instruction Fine-Tuning Platform with Instruction Data Collection and Unified Large Language Models Int...
安装Windows和rhel/Centos双系统
Zhaohui_Zhang的博客
03-29 2081
本教程仅对自己时间过程中不断踩坑的总结，效果仅供参考。 1、rhel7.6/Centos镜像的下载 注意下载x86版本的 #rhel下载 https://developers.redhat.com/products/rhel/download #阿里云镜像站——Centos https://mirrors.aliyun.com/centos/ 2、制作启动盘 #下载软碟通，制作启动盘 https://cn.ultraiso.net/xiazai.html ...
linux 卡在grub_解决CentOS7，EFI+GPT卡在grub,无法正常启动的故障（一）
weixin_34446948的博客
12-29 3036
一、查看分区二、 临时修复启动insmod xfsset root=‘hd0,gpt2‘ #这里指定的应该是/boot分区，这个分区下应该有 vmlinuz-0-rescue以及initramfs-0-rescue文件。linuxefi /vmlinuz-0-rescue-9d20b497512743d8befa1a3151a40d24 root=/dev...
ValueError: No model found in config file. 解决办法
自在独行的博客
04-08 3636
代码段： from tensorflow.keras.models import load_model model_path = 'vgg16_weights_tf_dim_ordering_tf_kernels.h5' model_vgg = load_model(model_path) 报错信息： 背景知识： """ 模型保存方式： save()→保存模型参数和网络结构、损失函数、优化器 save_weights()→仅保存模型参数，可以看作是保存模型的一部分。 """ #方式1 .
win7和centos双系统引导修复
lubo4551的专栏
04-18 969
1.装入光盘，在光盘引导界面选择troubleshooting： 启动以后发现进入了 dracut:/#界面 其实是u盘没找到。所以ls /dev/| grep sdb 就会找到u盘位置。我这里显示的是sdb、sdb4。也就是说sdb4是u盘。 2.重新选择troubleshooting： 按e编辑 把vmlinuz initrd=initrd.img inst.stage2=hd:...
ubuntu18.04 安装JLinkOB驱动以及问题解决
qq_25370227的博客
12-20 3105
ubuntu18.04 安装JLinkOB驱动以及问题解决安装方式deb方式安装解压文件的方式安装解决问题FAILED: Can not connect to J-Link via USB.STM32 (connect): Can not attach to CPU. Trying connect under reset. 安装方式 deb方式安装 解压文件方式安装(主要是在ARM板上安装时使用...
peft库下载
最新发布
04-02
根据用户提供的引用，引用[1]和引用[2]都提到了使用pip安装的方法，比如pip install peft或者从requirements.txt安装。但用户还提到在引用[3]中遇到了torch版本的问题，可能需要注意依赖冲突。 用户可能已经安装了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值