领域LLM九讲——第1讲 通过LLM构建问答语料数据集

原创 已于 2025-05-01 23:15:14 修改 · 738 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #python #语言模型 #llama

于 2025-05-01 23:06:36 首次发布
部署运行你感兴趣的模型镜像

文章目录

1.1 技术背景

通过Esay Dataset构建用于LLM SFT的问答语料数据，并用于lamma-factory微调

1.2 技术流程

1.2.1 Easy Dataset 镜像启动

源码Code

1） 免去中间一些繁杂步骤，直接通过docker pull 下载最新的imgae：

docker pull passerbyjia/easy-dataset:latest

2）启动镜像并访问

Note： 注意更换 {data_save_path}为本地预储存路径；另外网路要用全局：–network=host

docker run -d -p 1717:1717 -v {data_save_path}:/app/local-db  --network=host  --name  easy-dataset passerbyjia/easy-dataset:latest

访问l链接：http://localhost:1717/

1.2.2 构建数据集合

1） 创建并上传多个样本数据

准备对应领域的txt、doc数据样本进行构建；这里我用了一篇哲学书籍为实例，具体按如下图所示：

  1. 通过ollama构建LLM
    由于Easy-Dataset只支持api或者ollama方式，为了省￥，直接本地构建即可，建议构建两个模型，一个容易出错：在这里插入图片描述

  2. 生成文本快chunk

  3. 生成chunk对应问题
    在这里插入图片描述

  4. 构建数据在这里插入图片描述

  5. 导出数据集为llama-factory格式
    在这里插入图片描述

1.2.3 导入到llama-factoru项目中

前面我们指定了data_save_path，注意是本地路经而不是镜像里的路径; 将data_info.json（架构）和alpaca.json（问答对）放入到llama-factory/data文件夹下的文件

这里给一个data_info.json示例：
在这里插入图片描述

到这里，我们已经完成了数据集的制作和导入

1,3 下一步工作

虽然上面的数据以及可以构建起LLM 微调工作，但是LLM选择和幻觉问题仍然是比较头痛的事情，因此下一步工作我们会详细挑选一个领域（跑分），针对于小模型微调，使其能够达到其更大参数量模型的效果。

附录

本人github项目地址：https://github.com/oncecoo
欢迎关注！

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 1万+
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
LLM - 大模型构建 Reasoning 推理数据集(OpenR1-Math-220k) 教程
AGI
03-07 1290
使用蒸馏的推理(Reasoning)数据集，进行模型微调(SFT)，即使不使用强化学习(RL)，也可以提升大模型的效果。因此，构建合适的推理数据集，就可以训练不同的高性能推理模型。
LLM 合成数据生成完整指南
知来者逆的博客
07-11 3437
使用 LLM 进行综合数据生成需要利用这些先进的 AI 模型来创建模拟真实世界数据的人工数据集。这种方法有几个优点：1.1.灵活性：生成合成数据通常比收集和注释真实世界数据更便宜。1.2.隐私保护：可以在不暴露敏感信息的情况下创建合成数据。1.3.可扩展性: 大型语言模型（LLMs）可以快速生成大量多样化的数据。1.4.定制：数据可以根据特定用例或场景进行定制。这个简单的例子展示了如何使用 LLM 生成合成客户评论。然而，LLM 驱动的合成数据生成的真正威力在于更复杂的技术和应用。
LLM应用喂饭教程：使用 Easy Dataset 制作问答数据集
bgeyq的博客
07-01 746
随着人工智能技术的不断发展，Easy Dataset 有望持续优化升级，集成更多先进的算法和模型，拓展更多的功能，如支持更多语言的问答数据集制作、提供更精细的数据评估指标等，为推动 LLM 在各个领域的深度应用和创新发展发挥更重要的作用。Easy Dataset 是一款强大的工具，能够帮助用户高效地创建用于微调 LLM 的问答数据集。2. 查看生成的答案，对答案进行编辑和优化，确保答案准确、完整且逻辑清晰，符合实际应用场景的需求，如对医学答案中的专业术语进行补充解释，使其更易于非专业用户理解。
Easy Dataset 已经突破 11.5K Star，这次又带来多项功能更新！
最新发布
学习、分享
11-04 1032
Easy Dataset（EDS）是一款AI智能应用，可将文献和图片中的知识转化为结构化数据集，用于模型训练和RAG场景。最新版本1.6.0新增图片处理、多轮对话数据集、问题模板等功能，支持数据清洗和智能评估。通过实际案例展示了汽车图片识别数据集和文本分类数据集的生成流程，包括图片导入、问题模板设置、智能标注和数据集导出等操作。
用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
2201_75499313的博客
01-13 3860
本文针对特定领域知识问答系统的问题，进行方案比较和选型。不难发现：传统的搜索模式、LLM 的 Fine-Tuning、Prompt Engineer 等方式均存在不同程度的缺陷。经过分析比较后，决定探索LLM +搜索的方式进行处理，并在 NBA2K Online2 攻略应用场景进行验证。该方法：将本地知识通过传统搜索框架进行处理，并作为答案的基础数据源。这保证了答案的精准和可靠。
谷歌：LLM低资源语言数据集
大模型任我行的博客
07-29 565
如何在西亚和北非的低资源语言中创建信息寻求型问答的基准数据集，以提高现代语言模型在这些语言上的表现？论文提出了一个新的信息寻求型问答数据集TYDI QA-WANA，涵盖了十种低资源语言，评估了长上下文的问答能力。
微调数据集开源项目Easy DataSet ！
张伟的专栏
03-19 3273
原文：微调数据集太难搞？我直接手搓一个开源项目！微调模型想加餐 文献堆成五指山 传统方法泪两行 AI生成总截断 重复问题脑壳瘫 - 掘金如何将领域文献转换为可供模型微调的数据集？大家好，我是 ConardLi本文为：想微调特定领域的 DeepSeek，数据集究竟要怎么搞？ 对应的第一个实战章节，通过今天的文章，将带大家学习：很多情况下，如果你只是需要通过微调来提升模型某一方面的能力，在没有特殊的内部数据要求的情况下，是没必要自己去构造数据集的，因为目前互联网上存在着大量的公开且免费使用的数据集，下面就带大家
精选资源
LLM大模型测试训练语料数据
03-15
第一种类型是通用的预训练语料库，它由来自不同领域和主题的大规模文本数据混合组成。这些数据通常包括来自互联网的文本内容，例如新闻、社交媒体、百科全书等。目标是为NLP任务提供通用的语言知识和数据资源。
LLM文本数据集775TB：覆盖32个领域，444个数据集
Hanscal
06-26 1074
除了上面提到的这些数据集，还包括多模态大型语言模型 (MLLM) 数据集和检索增强生成 (RAG) 数据集。数据集：https://github.com/lmmlzn/Awesome-LLMs-Datasets论文链接：https://arxiv.org/abs/2402.18041PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
LLM in Reranking——利用LLM进行重排
2401_85324918的博客
08-03 1193
LLM不同于传统的交叉编码器，具有更强的语义理解能力，并且能够捕捉到文档列表整体的顺序信息，它仍然面对几个不可忽视的问题。一方面，LLM的输入长度对于一个文档列表来说还是十分受限的，必须通过滑动窗口或集成的方式才能实现文档输入。另一方面，list-wise的LLM重排器对于输入非常敏感，在某些极端的情况下，例如将输入文档随机打乱顺序时，模型的输出结果甚至可能不如BM25。另外，还有参数过剩与时效性的问题会导致LLM重排器难以落地。
【人工智能领域】基于文本模型实现Fine-tune语料构造工作流：AI模型微调与数据集制作自动化系统设计
08-19
内容概要：本文介绍了基于文本模型实现微调（Fine-tuning）语料构造的工作流，旨在简化微调数据集的制作过程。文章首先概述了AI模型微调的概念及其重要性，强调了高质量数据集对微调的重要性。接着详细描述了使用...
LLM-in-the-loop：数据集构建
GDHBFTGGG的博客
10-03 997
通过上述过程，能够在LLM-in-the-loop数据构建过程中，逐步利用人工标注数据引导模型，通过不断的标注与微调循环，使模型逼近人工标注效果。
EasyDatasets是什么？
runfarther的专栏
08-26 597
EasyDatasets是什么？简单来说，EasyDatasets 是一个用于简化数据集加载和处理的 Python 库。它的核心目标是让开发者，尤其是机器学习初学者和研究人员，能够用极其简单的一行代码来获取和加载常用的公开数据集。 您可以把它想象成一个非常方便的工具箱，里面装满了整理好的、立即可用的数据集，省去了您自己从原始网站下载、解压、解析文件、进行数据预处理的繁琐步骤。
制作一个简单的问答数据集——在colab进行lora微调3
weixin_74825941的博客
10-14 1195
制作一个简单的问答数据集
如何把领域文献批量转换为可供模型微调的数据集？EasyDataset登场全解决！最详细的教程
m0_67165162的博客
03-27 1323
教你如何利用文献也能生成大模型微调数据集，保证数据质量，利用各类大模型对文献生成问题回答以及思维链，easydataset全程小白级别教学，一看就会！快来试试吧
问答数据构建框架 | SciQAG:一个具有细粒度评估的自动生成科学问答数据集的框架
码农的科研笔记
05-22 4397
该论文提出了一个自动生成科学问答数据集的框架SciQAG,论文实验核心验证SciQAG生成QA对的质量,以及与其他模型的对比效果。本论文针对大规模科学问答数据集构建问题,提出了一种名为SciQAG的自动生成框架。该框架利用种子问答引导LLMs生成更多问答数据,并设计了一个五维度的RACAR指标用于自动评估生成的问答质量。实验结果表明,SciQAG生成的96万个科学问答对在RACAR指标上平均得分达到2.5分(满分3分),证明了该框架能大规模生成高质量的科学领域问答数据。
微调篇「数据集构建」保姆级教程来了！
m0_48891301的博客
04-09 2790
百度飞桨：https://aistudio.baidu.com/datasetoverview。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值