大模型如何使用huggingface库传参？配置参数、数据参数、模型参数配置？

最新推荐文章于 2024-11-19 22:58:59 发布
最新推荐文章于 2024-11-19 22:58:59 发布
阅读量431 收藏
点赞数 1
分类专栏： 大语言模型教程(基于llama模型) 文章标签： python 人工智能 机器学习 huggingface 参数配置 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38252409/article/details/143226792
版权

文章目录

前言

在使用大模型时候，我们经常遇到参数传参问题，如何构建一个参数方法，即可使用默认参数，也可使用命令方式传参，是大模型构建的第一步。而大模型经常使用HfArgumentParser+parse_args_into_dataclasses+TrainingArguments等方式来实现。介于此，本篇文章纯粹解读huggingface参数传递与配置内容。

注：huggingface实践知识！

一、parser.parse_args_into_dataclasses

1、parse_args_into_dataclasses的原理

parser.parse_args_into_dataclasses() 是 Hugging Face Transformers 库中的一个方法，用于解析命令行参数并将其转换为 Python 的数据类（dataclass）。在Hugging Face的transformers库中，这个方法通常用于处理模型训练、评估、预测等任务的命令行参数。这些参数可以包括模型类型、训练步数、学习率、数据集路径等。这个方法的工作原理是，它会查找当前模块或父模块中定义的任何数据类（使用&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
第三章：huggingface的Trainner参数解读
weixin_38252409的博客
06-14 466
大模型基本使用huggingface来实现。对于不太理解其内容基本按照官网教程或相关博客等来实现。想进一步激发开源大模型在行业领域提升性能是棘手问题。该问题会涉及开源代码二次开发进行实验测试。基于此，本教程不同文字或理论介绍内容，而从源码解读其训练逻辑、权重保存、高效微调方法(LoRA)、断点续训方法、模型推理权重处理等方法。本教程所有内容完全依托huggingface源码与相关Demo验证来解读，助力大模型使用。
huggingface的参数使用(HfArgumentParser+parser.parse_args_into_dataclasses+TrainingArguments)
weixin_38252409的博客
08-28 513
在使用大模型时候，我们经常遇到参数传参问题，如何构建一个参数方法，即可使用默认参数，也可使用命令方式传参，是大模型构建的第一步。而大模型经常使用HfArgumentParser+parser.parse_args_into_dataclasses+transformers.TrainingArguments等方式来实现。介于此，我解读了大模型通用构建方法，重在方法掌握，而参数如何构建可通过你自己的想法。数据类是一种 Python 类，它可以自动地为你生成一些特殊方法，如initrepr等。
【大模型】基于Hugging Face调用大模型基础流程
酒酿小圆子呀～
06-06 7079
ChatGPT的基本原理以及预训练大语言模型的发展史，我们知道ChatGPT和所有预训练大语言模型的核心是什么？其实就是 Transformer，Hugging Face 的火爆离不开他们开源的这个 Transformers 库。这个开源库里有数万个我们可以直接调用的模型。很多场景下，这个开源模型已经足够我们使用了。接下来我们就从Transformer的架构和具体的案例来介绍Hugging Face Transformer。
springmvc参数传递二：模型传参（非常常用）
weixin_30872789的博客
06-27 350
在上一篇写了使用形参的方式传参，但是当前端页面的表单内容数据较多时，使用形参会很不方便，因此就可以使用模型传参的方式，将请求参数封装到实体中。示例如下： 仍以上一篇的项目为基础，进行学习。 封装实体，首先需要创建实体类： package com.zs.entity; import org.springframework.stereotype.Component; @Compo...
【transformer模型】三行查看huggingface加载的transformer模型的大小
yiyangtien的博客
02-26 1866
想知道这个模型有多大，怎么办呢？可以通过参数量估算。
Transformers入门：实战Ubuntu使用huggingface上的语句情感分类模型+配环境（2024.02.20）
thestareye的博客
02-21 2694
在Ubuntu上解决使用Transformers可能会碰到的种种环境问题
LLMs之ChatGLM-3：ChatGLM3源码解读(finetune_hf.py)微调模型(评估/保存)实现生成任务——配置初始化(加载配置信息、分词器和模型(配置PEFT参数)、初始化数据管理器
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-03 841
​ LLMs之ChatGLM3：ChatGLM3源码解读(finetune_hf.py)微调模型实现生成任务——初始化模型训练环境→加载数据→配置模型→微调训练模型(支持SFT/Ptuning_v2/LoRA+可从检查点恢复)→模型评估(BLEU/ROUGE等) 目录 ChatGLM3源码解读(finetune_hf.py)微调模型实现生成任务——初始化模型训练环境→加载数据→配置模型→微调训练模型(支持SFT/Ptuning_v2/LoRA+可从检查点恢复)→模型评估(BLEU/ROUGE等) #
书生大模型实战营闯关记录----第七关：模型评估，使用OpenCompass评估大模型，OpenCompass入门
Ace_bb的博客
08-10 879
OpenCompass，也称为“司南”，是由上海人工智能实验室发布的一个开源的大模型评测体系，已经成为目前权威的大型模型评估平台，本篇介绍如何使用OpenCompass进行大模型测评，以及其中涉及的相关知识。官方看这里。OpenCompass概述介绍OpenCompass下载安装OpenCompass快速开始ppl、gen两种测评方式区别简述OpenCompass的Prompt构建数据集、测评指标、模型推理的配置测评结果可视化。
第十四节 huggingface的trainner的_inner_training_loop函数源码解读
weixin_38252409的博客
05-15 1071
在huggingface中，有关trainer内容实在太多了，我将布局6篇文章来构建有关内容。第一篇文章介绍参数；第二篇文章给出一个完整Demo，并介绍trainner源码的整体结构，呈现一个整体框架；第三篇文章介绍给出数据构造、优化器构建方法源码解读；第四篇篇文章介绍epoch外循环训练相关源码解读；第五篇文章介绍step内循环训练相关源码解读；第六篇文章介绍Resume方法内容，包含继承数据、继承优化器、继承模型等实现完整断点续训功能。 而本篇为第三篇文章，主要解读优化器与数据相关源码内容。
struts2使用域模型传递参数
wanyue2428702751的博客
04-07 441
1：兴建一个user类，在里面定义user的各个属性 public class User { private String name; private int age; public String getName() { return name; } public void setName(String name) { this.name = name; } public in
huggingface transformer基础组件笔记（自用）
weixin_58055103的博客
11-19 966
transformer基础组件笔记（自用）
HfArgumentParser及dataclasses类（dataclass、field、asdict、__post_init__）相关
weixin_43013480的博客
12-26 1763
以上述代码为例，我们在定义自己深度学习模型时，会有训练参数、常规配置参数、验证参数等，所以我们可以分好几个dataclass类，使用上述代码去分配。终于，我们可以介绍HfArgumentParser了，这个用法主要常见于一些深度学习的代码，而且是在参数的定义中。该方法返回的是一个元祖，若你只需要返回一个，则应使用下述方法，将上述代码对应行数修改一下即可。是一个数据类，一般用于对数据的定义，他会默认添加__repr__及__init__。的知识，这两个都是属于dataclasses类，之前看源码还会有一个。
大语言模型 RLHF(一)——ChatGLM代码逐行解读
qjzcy的博客
06-07 6138
为方便学习，对ChatGlm的代码做了逐行解读，这里主要是main方法，里面核心的部分如数据的解析，模型推理训练的框架流程。后续会针对ChatGLM核心优化代码做个解读，
ImportError: cannot import name ‘HfFolder‘
qq_45828494的博客
09-28 1427
pycharm
知识图谱：【知识图谱问答KBQA（六）】——P-tuning V2训练代码解析
u013010473的博客
02-18 2855
文章目录一.arguments.pyDataTrainingArguments类ModelArguments类QuestionAnwseringArguments类get_args()函数二.run.pyStep 1. 获取所有参数Step 2. 根据任务名称选择导入对应的get_trainerStep 3. 将参数args传入get_trainer,得到trainer1）根据模型名称或路径加载tokenizer2）根据tokenizer和参数data_args、training_args加载数据集data
（转）parser.parse_args()的解释
weixin_46028606的博客
08-16 972
转载的python的parse args的解释
parse_args()详解
HaonanLu的博客
05-12 8584
1-引入模块 import argparse 2-建立解析对象 parser = argparse.ArgumentParser() 3-增加属性：给xx实例增加一个aa属性 # xx.add_argument(“aa”) parser.add_argument(“echo”) 4-属性给与args实例： 把parser中设置的所有"add_argument"给返回到args子类实例当中， 那么parser中增加的属性内容都会在args实例中，使用即可。 args = parser.parse_ar
使用hugging face提供的预训练模型，报错：ImportError: cannot import name ‘DatasetInfo‘ from ‘huggingface_hub.hf_api
weixin_43881931的博客
02-13 1692
bug解决
Huggingface默认下载的缓存目录的环境变量的设置
人工智能
10-12 1053
设置HF_HOME环境变量 、TRANSFORMERS_CACHE、HUGGINGFACE_HUB_CACHE都可以更改缓存目录。
# 或者from datasets import Datasetdataset = Dataset.from_csv("./ChnSentiCorp_htl_all.csv")# 2、加载json文件load_dataset("json", data_files=["./cmrc2018_trial.json"], field="data")123
最新发布
04-03
### 使用Hugging Face Datasets库加载CSV或JSON文件 Hugging Face 的 `datasets` 库提供了强大的功能来处理各种结构化数据源，包括 CSV 和 JSON 文件。以下是关于如何使用该库从这些文件中加载数据集的具体方法。 #### 加载来自CSV文件的数据集 可以利用 `load_dataset()` 函数并指定路径以及设置参数为 `'csv'` 来读取本地或者远程的 CSV 文件： ```python from datasets import load_dataset dataset_csv = load_dataset('csv', data_files='data/binary_classification/train.csv') # 路径应指向train.csv所在位置[^2] ``` 此命令将会把位于指定目录下的训练数据作为数据集加载进来。如果存在多个文件，则可以通过列表形式传递给 `data_files` 参数。 对于测试集合同样适用： ```python test_dataset_csv = load_dataset('csv', data_files='data/binary_classification/test.csv') ``` #### 加载来自JSON文件的数据集 当面对 JSON 数据时，过程相似但需注意其内部结构可能会影响解析方式。假设我们有一个类似于 Bored API 返回的结果存储在一个名为 activities.json 的文件里，那么我们可以这样操作它: ```python import json from datasets import Dataset with open('activities.json', 'r') as f: activity_list = [json.loads(line) for line in f] activity_dataset = Dataset.from_pandas(pd.DataFrame(activity_list)) ``` 这里先手动读入每一行作为一个独立字典加入 list 中再转换成 pandas DataFrame 形式最后构建成为 HuggingFace 的 Dataset 对象[^3]。 当然也可以直接调用内置支持的方法简化流程如下所示： ```python dataset_json = load_dataset('json', data_files='activities.json') ``` 以上两种途径均能有效创建基于原始 JSON 文档的新实例供后续 NLP 或其他机器学习任务所用。 #### 配置适配器 (Optional) 如果有计划应用 PEFT 技术调整模型行为的话，在定义好基础架构之后记得初始化相应的 peft_config 实例传参进去以便进一步定制化需求[^4]: ```python from peft import PeftConfig config_dict = {"my_adapter": PeftConfig(...)} model.config.adapters.update(config_dict) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

tangjunjun-owen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值