基于huggingface的Dataset加载Lora的数据集预处理

最新推荐文章于 2025-03-28 18:59:48 发布

Xiao_Princess

最新推荐文章于 2025-03-28 18:59:48 发布

阅读量244

点赞数 2

文章标签： java 前端服务器

本文链接：https://blog.youkuaiyun.com/Xiao_Princess/article/details/140784370

版权

其中可供参考的json配置，比如我的数据是以下这样的：

[
{
"instruction": "你的问题",
"output": "大模型的答案。"
},
{
"instruction": "你的问题第二个",
"output": "大模型对应的答案。"
}
]

datasets加载预处理过程，我的数据是json格式

from datasets import load_dataset
 
dataset = load_dataset("json", data_files="你的数据.json", split=["train","test"])
 
def Preprocess(example):
    MAX_LEN = 128
    input_ids, attention_mask, labels = [], [], []
    instruction = tokenizer(f"User: {example['instruction']}Assistant: ", add_special_tokens=False)
    response = tokenizer(example["output"] + tokenizer.eos_token, add_special_tokens=False)
    input_ids = instruction["input_ids"] + response["input_