如何训练自己的ChatGPT

ChatGPT的训练数据集是如何构建的? 由于ChatGPT的预训练模型需要大量的无监督数据进行训练,而现实中可用的文本数据往往是非常庞大和复杂的,因此需要对数据进行采样来减少训练时间和计算资源的消耗。(1)数据量:ChatGPT的预训练模型需要大规模的无监督文本数据进行训练,因此在构建训练数据集时需要尽可能地包含更多、更丰富的语言数据,以提高模型的效果和泛化能力。这种方法可以平衡不同类别之间的数据量,避免了采样偏差问题。(2)数据质量:由于无监督文本数据的来源和品质各异,因此需要在构建训练数据集时对数据进行筛选和清洗,以保证数据的质量和可靠性。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:zhuanlan.zhihu.com/

p/616504594

93f0841ed688f275eefaadd6051de7a2.jpeg


LLM 这两周不断带给我们震撼与惊喜。GPT-4 的发布让大家对 LLM 的想象空间进一步扩大,而这些想象在本周眼花缭乱的 LLM 应用发布中逐渐成为现实,下面分享一位朋友训练ChatGPT的完整方案,供大家参考~

LLM 相关的开源社区这两周涌现了很多优秀的工作,吸引了很多人的关注。其中,我比较关注的是 Stanford 基于 LLaMA 的 Alpaca 和随后出现的 LoRA 版本 Alpaca-LoRA。原因很简单,便宜 。

Alpaca 宣称只需要 600$ 不到的成本(包括创建数据集),便可以让 LLaMA 7B 达到近似 text-davinci-003 的效果。而 Alpaca-LoRA 则在此基础上,让我们能够以一块消费级显卡,在几小时内完成 7B 模型的 fine-turning。

下面是开源社区成员分享的可以跑通的硬件规格及所需时间:

c47a7d8e5604e778068f9bc03b9409a1.png

根据大家分享的信息,fine-tune 7B 模型仅需要 8-10 GB vram。因此我们很有可能可以在 Google Colab 上完成你所需要的 fine-tune!

那么,说干就干!

b86a757ed2661f625f7b4ab2003aae72.png
为什么要训练自己的 ChatGPT ?

我想到了以下的方面:

  • 对我个人而言,这非常非常 cooooool !

  • 让模型能够讲我熟悉的语言

  • 让模型替我写注释和测试代码

  • 让模型学习产品文档,帮我回答用户提出的小白问题

  • ...

计划

那么,为了训练自己的 Chat我们需要做那些事儿呢? 理论上需要如下步骤:

第一步:准备数据集

fine-tune 的目标通常有两种:

  • 像 Alpaca 一样,收集 input/output 生成 prompt 用于训练,让模型完成特定任务

  • 语言填充,收集文本用于训练,让模型补全 prompt。

以第一种目标为例,假设我们的目标是让模型讲中文,那么,我们可以通过其他 LLM (如 text-davinci-003)把一个现有数据集(如 Alpaca)翻译为中文来做 fine-tune。实际上这个想法已经在开源社区已经有人实现了。

第二步:训练并 apply LoRA

在第一步准备的数据集上进行 fine-tune。

第三步:合并模型(可选)

合并 LoRA 与 base 可以加速推理,并帮助我们后续 Quantization 模型。

第四步:quantization(可选)

最后,Quantization 可以帮助我们加速模型推理,并减少推理所需内存。这方面也有开源的工具可以直接使用。

https://github.com/megvii-research/Sparsebit/blob/main/large_language_models/llama/quantization/README.md

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

实践

柿子挑软的捏,我们从简单的目标开始:让模型讲中文。

为了达成这个目标,我使用的数据集是 Luotuo 作者翻译的 Alpaca 数据集,训练代码主要来自 Alpaca-LoRA。

准备

由于我打算直接使用 Alpaca-LoRA 的代码,我们先 clone Alpaca-LoRA:

git clone git@github.com:tloen/alpaca-lora.git

下载数据集:

wget https://github.com/LC1332/Chinese-alpaca-lora/blob/main/data/trans_chinese_alpaca_data.json

创建虚拟环境并安装依赖(需要根据不同环境的 cuda 版本调整):

conda create -n alpaca python=3.9
conda activate alpaca
cd alpaca-lora
pip install -r requirements.txt
训练

单卡选手很简单,可以直接执行:

python finetune.py \
    --base_model 'decapoda-research/llama-7b-hf' \
    --data_path '/path/to/trans_chinese_alpaca_data.json' \
    --output_dir './lora-alpaca-zh'

双卡选手相对比较麻烦,需要执行:

WORLD_SIZE=2 CUDA_VISIBLE_DEVICES=0,1 torchrun \
--nproc_per_node=2 \
--master_port=1234 \
finetune.py \
--base_model 'decapoda-research/llama-7b-hf' \
--data_path '/path/to/trans_chinese_alpaca_data.json' \
--output_dir './lora-alpaca-zh'

在我的环境下(2 * RTX 3090 Ti 24GB),需要额外配置 micro_batch_size 避免 OOM。

--micro_batch_size 2

推荐的其他额外参数:

--num_epochs 2

训练的过程比较稳定,我在训练过程中一直在用 nvitop 查看显存和显卡的用量:

22cc995a2634d88c1d31330874fedde2.png

下面是我训练时模型收敛的情况,可以看到差不多 2 epochs 模型就收敛的差不多了:

f65242aa1927d159d98818f9ea3c8aae.png
推理

单卡选手可以直接执行:

python generate.py --base_model "decapoda-research/llama-7b-hf" \
--lora_weights './lora-alpaca-zh' \
--load_8bit

双卡选手还是会麻烦点,由于现在还不支持双卡推理,我手动修改了 generate.py,添加了第 47 行:

e65cc85b709b41c4ccd364779961a369.png

而后,执行上面的命令即可。

如果你的推理运行在服务器上,想要通过其他终端访问,可以给 launch 方法添加参数:

server_name="0.0.0.0"

此时打开浏览器,享受你的工作成果吧 :D

加速推理

Alpaca-LoRA 提供了一些脚本,如 export_hf_checkpoint.py 来合并模型。合并后的模型可以通过 llamap.cpp 等项目达到更好的推理性能。

测试

最后,让我们对比下原生 Alpaca 与自己 fine-tune 的 Alpaca,看看 fine-tune 到底有没有让模型学会讲中文吧!

Good Examples

11500ad6a8e50b3df870627001a68435.png

Bad Examples

a27b0432a5ad51021ebf898382f9430c.png

可以看出模型确实在讲中文,也能依据中文的指令和输入完成一些工作。但是由于 LLaMA 本身训练数据大部分为英文以及 Alpaca 数据集翻译后的质量不足,我们的模型有些时候效果不如原生 Alpaca。此时不得不感叹高质量数据对 LLM 的重要性 。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

总结

作为一个分布式系统方向的工程师,fine-tune 一个 LLM 的过程遇到了不少问题,也有很多乐趣。虽然 LLaMA 7B 展现出的能力还比较有限,我还是很期待后面开源社区进一步的工作。

后续我也打算尝试 fine-tune 特定目的的 LLM,比如让 LLM 教我做饭,感兴趣的朋友可以保持关注!



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

27a8e1ae145a52ca85d68f90152e5e02.png

已在知识星球更新源码解析如下:

22bd131cf5837691fefc5fa2062807c4.jpeg

0b23fbf694618ca3d6b804917e326465.jpeg

d9b3daafceaff5d8e060d04a07cee6aa.jpeg

7efa428eed9a2dc9e38055298c3d21bb.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
大语言模型之三 ChatGPT训练过程 大语言模型 GPT历史文章中简介的大语言模型的的发展史,并且简要介绍了大语言模型的训练过程,本篇文章详细阐述训练的细节和相关的算法。2020年后全球互联网大厂、AI创业公司研发了不少AI超大模型(百亿甚至千亿参数),典型代表是NLP领域的GPT-3,LlaMA,视觉领域的DALL*E2,Stable Diffusion以及V-MoE。现有的生成式AI工具大部分基于大厂研发的预训练模型,用针对特定场景的小数据进行Fine-Tune的模式快速迭代。 阅读详情

相关推荐

【ChatGPT】ChatGPT 训练过程原理全解析

新的 LLM 技术堆栈的转变是一个令人兴奋的发展,它将使开发人员能够构建和部署更强大的 NLP 应用程序。新堆栈比旧堆栈更高效、可扩展且更易于使用,它释放了 LLM 的全部潜力。随着开发人员继续寻找新方法来利用 LLM 的力量,我们可以期待在未来几个月和几年内看到该领域的更多创新。

AI天才研究院 2万+

ChatGPT如何训练自己的模型

这些数据集可以来自英文、中文和其他语言的数据集,但需要注意的是,由于ChatGPT是一个生成式模型,所以需要保证数据集中的对话质量和语言质量较高,否则影响对话的质量。总之,训练一个高品质的ChatGPT模型需要高质量的对话数据集、有效的数据预处理、强大的训练环境、合适的训练方法、有效的模型评估等多个步骤,需要耗费大量的时间和精力。需要注意的是,ChatGPT模型的训练需要经验丰富的AI开发人员进行,需要一定的技术背景和经验,同时也需要进行大量的实验和调试,才能训练出高品质的模型。

记录 IT 领域经验与见解的博客 1万+

基于DeepSpeed训练ChatGPT

教你如何使用DeepSpeed自行训练一个ChatGPT

夏栀的博客 1万+

【ChatGPT】如何正确的训练gpt的详细教程

ChatGPT是基于GPT-3.5架构的大型语言模型,由OpenAI发布。该模型可用于各种自然语言处理任务,比如文本生成、对话系统、文本分类等等。为了帮助读者更好地训练自己的ChatGPT模型,本文提供了一份调教教程以上是一份简单的ChatGPT调教教程,希望能对读者有所帮助。

liaozp88的博客 2万+

【Android】条形码/二维码扫描——ZXing源码分析

正在更新中 针对3.2.1版本源码 与其他版本代码可能会有出入,但核心思想基本不变。 首先从com.google.zxing.client.android包中的目录结构分析:Book:这个文件夹中有5个类: BrowseBookListener 实现了adapter的点击事项响应,通过获取ISBN,然后跳转到Google books中查询响应的详细信息。 SearchBookContents

年轻的学徒 2455

基于决策树的英雄联盟比赛胜负预测(含完整代码)

在代码中设置随机种子(例如 RANDOM_SEED = 2024)的主要目的是为了确保每次运行代码时,随机过程的结果是一致的。通过绘制不同参数组合下的准确率图,直观地展示了参数对模型性能的影响,帮助读者更好地理解和选择合适的参数。通过设置相同的随机种子(伪随机数),可以确保每次运行代码时,随机数生成器生成的随机数序列是相同的。如果在开发过程中遇到问题,设置固定的随机种子可以帮助你更容易地定位问题,因为每次运行代码时的数据和结果都是一样的。在科学研究和实验中,结果的可重复性是非常重要的。

oisflo的博客 1921

如何训练一个自己的ChatGPT

微软2023 Build开发者大会上的演讲State of GPT,演讲分为两个部分。第一部分讲了如何从头开始训练一个chatgpt,准确来说是gpt3.5的训练细节,gpt4仍然是保密的。 第二部分讲了使用chatgpt以及其他llm时一些提高回复质量的方法,并从原理出发阐述了为什么这样做可以work。第一部分技术细节比较多,第二部分更偏向实际使用。

nemo_scarlet的博客 7688

零基础搭建本地AI绘画环境:Stable Diffusion 3.5保姆级安装教程(含中文优化方案)

本文提供零基础搭建本地AI绘画环境的详细教程,重点介绍Stable Diffusion 3.5的安装与中文优化方案。从硬件配置检查到软件依赖安装,再到核心组件配置与中文语义增强,教程涵盖全流程操作指南,帮助用户快速掌握AI文生图模型的本地部署技巧,提升创作效率。

weixin_30752699的博客 316

训练自己的ChatGPT的步骤

你可以使用它们的Transformers库来访问预训练的模型(如GPT-2、GPT-Neo等),并使用其对话生成功能。你可以根据你的需求选择适合的训练方法。他们提供了DialoGPT的预训练模型和相关代码,你可以使用它们作为基础来训练自己的对话模型。你可以使用预训练的语言模型(如GPT-3)作为起点,然后通过微调模型来适应你的特定任务和数据。你可以收集来自你的服务网站的用户交互数据,包括用户提出的问题和系统给出的回答。请注意,训练一个高质量的对话模型是一项复杂的任务,需要大量的数据、计算资源和专业知识。

canduecho的专栏 1万+

Xilinx FPGA MultiBoot实战:7Series与UltraScale的SPI Fallback配置详解

本文深入解析了Xilinx FPGA的MultiBoot(多启动)与Fallback(回退)功能,针对7系列与UltraScale/UltraScale+系列,提供了从约束文件编写、看门狗集成到镜像烧录的完整实战配置指南。文章重点对比了两个系列在SPI Fallback配置上的关键差异与注意事项,旨在帮助工程师构建高可靠、永不宕机的FPGA系统。

weixin_29197051的博客 548

彻底解决Win11 Android模拟器驱动权限问题:手动修改silent_install.bat的保姆级教程

本文提供了一份详细的Win11 Android模拟器驱动权限问题解决方案,重点介绍了手动修改silent_install.bat脚本的两种方法。通过分析问题根源并给出具体代码修改方案,帮助开发者彻底解决Android Studio在Windows 11上安装时遇到的UAC循环弹窗问题,确保android-emulator-hypervisor-driver顺利安装。

dengliugong3918的博客 461

ChatGPT是如何训练得到的?通俗讲解

首先声明喔,我是没有任何人工智能基础的小白,不会涉及算法和底层原理。我依照我自己的简易理解,总结出了ChatGPT是怎么训练得到的,非计算机专业的同学也应该能看懂。看完后训练自己的min-ChatGPT应该没问题。如果大牛看到这篇文章后,希望就当图一乐。

小梁说代码的博客 2万+

ROS基础(一)——命令行代码(以小乌龟程序为例)

ROS学习(一)——命令行代码(以小乌龟程序为例)1 基础命令行语句1.1 roscore1.2 rqt_graph(显示系统计算图)1.3 rosnode(显示所有节点相关信息)1.4 rostopic(和话题相关)2 服务类型指令rosservice同时存在两只海龟3 指令记录 1 基础命令行语句 从大二四旋翼无人机编队后就没再接触过ROS了,最近由于科研任务需要重新捡起来,打算系统学一下!学习过程参考古月居老师的视频,有兴趣的同学可以去[BliBli]学习。 学习平台:Ubuntu 18.04 硬件

北理自动化小白 6269

ChatGPT预训练

ChatGPT在预训练阶段需处理海量非结构化文本数据,其中包含大量噪音(如重复内容、乱码、广告、语法错误、低俗信息等)。若直接使用这些数据,模型可能学习到错误模式或无关信息,导致生成内容质量下降或产生偏见。

Made In SQL 1634

33、密码学中的选择密文攻击与Cramer - Shoup加密方案

本文详细介绍了密码学中选择密文攻击的背景及其对Cramer-Shoup公钥加密方案的影响。该方案在决策Diffie-Hellman假设和抗碰撞哈希函数的基础上,能够有效抵御自适应选择密文攻击,并且其安全性无需依赖随机预言机模型。文章还分析了Cramer-Shoup方案的设计原理、加密与解密过程,以及其在标准假设下的安全性证明方法。此外,通过一系列相关练习,帮助读者进一步理解密码学概念如密文不可区分性、ElGamal加密、Goldwasser-Micali方案等。最后,文章展望了密码学的未来发展趋势,包括量子

vscode6remote的博客 100

【Windows Server 2019】活动目录 (Active Directory) ——将计算机加入域和脱离域

博文介绍了如何将计算机加入AD域和脱离AD域,包括加入域,验证客户机加入到域后的信息,使用域账户用户在客户机上登录,使用本地账户用户在计算机上登录,脱离域。

VMware, Windows, Linux, Cisco, Container, Kubernetes, Kali 6170

ChatGPT是如何训练出来的?

chatgpt训练过程

【javatoai17819112191】→Java && python && AI Agent工程师 767

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

如何训练ChatGPT模型

如何训练ChatGPT模型

KingOfOnePiece的博客 2695

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

如何训练chatgpt

训练 ChatGPT 需要使用大量的文本数据和高性能的计算资源。具体的步骤如下: 准备文本数据:需要大量的文本数据作为模型的训练数据。 选择训练架构:选择合适的训练架构,例如 OpenAI 的 GPT-3 模型。 准备计算资源:需要高性能的 GPU 或 TPU 进行训练。 进行训练:使用训练数据和计算资源进行训练,使用深度学习技术,例如 TensorFlow 或 PyTorch。 评估模...

weixin_35756130的博客 3882

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

ChatGPT探索系列之三:探究ChatGPT的训练、优化和应用方法

ChatGPT发展到目前,其实网上已经有大量资料了,博主做个收口,会出一个ChatGPT探索系列的文章,帮助大家深入了解ChatGPT的。理解ChatGPT的背景和应用领域;学习GPT模型系列的发展历程和原理;探究ChatGPT的训练、优化和应用方法;分析ChatGPT在各领域的实际案例;讨论人工智能伦理问题及ChatGPT的责任;思考ChatGPT的未来发展趋势和挑战。本次ChatGPT探索系列之一的主题是探究ChatGPT的训练、优化和应用方法。

分享人工智能学习心得与实践经验,探讨应用场景,见证变革与进步 9702

ChatGPT 的训练流程概览

摘要:文章详细解析了ChatGPT这类大语言模型的训练全流程,包括预训练、微调和人类反馈强化学习(RLHF)三个阶段。阐述了训练所需的庞大计算资源、数据量和团队协作要求,并介绍了基于开源模型进行自定义训练的方法。同时强调了模型安全合规的重要性,提供了提升训练效果的关键建议。文章指出,虽然完全复现ChatGPT级模型难度大,但通过开源模型结合轻量化微调,个人和企业仍可打造适合自身需求的智能助手。

2503_93604206的博客 600

【AI实战】训练一个自己的ChatGPT

使用 Alpaca-LoRA 来训练一个自己的 ChatGPT

Zack的博客 7248

ChatGPT的训练数据是什么?

具体来说,OpenAI使用了一种称为无监督学习的方法,这意味着他们并没有对模型进行针对性的手动标注,而是从互联网上采集了大量的文本数据,以自动学习语言模型的模式和结构。值得注意的是,具体的训练数据集的规模和内容是不公开的,OpenAI并没有透露具体的数据集细节。这些包括小说、非小说类图书、科学论文、历史著作等。通过使用书籍和文学作品,ChatGPT可以学习到更加丰富和复杂的语言表达方式,以及不同领域的知识。通过使用书籍和文学作品,ChatGPT可以学习到更加丰富和复杂的语言表达方式,以及不同领域的知识。

2301_78240434的博客 2425

高效又稳定的ChatGPT大模型训练技巧总结,让训练事半功倍!

文|python前言近期,ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术(LLM, large language model)实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络,通过极大规模的数据进行自监督训练。但是,如何构建自监督训练数据?在基础的Transformer结构上,大家又做了哪些创新呢?为了保证训练过程高效且稳定,又有哪些黑科...

夕小瑶科技说 9175

浅析ChatGPT-ChatGPT 的训练

(就个人而言,我一生中发表的文字总量不到 300 万个词,在过去 30 年中写下了约 1500 万个词的电子邮件,总共敲了大约 5000 万个词—而且仅在过去几年的直播中,我就说了超过 1000 万个词。是的,我会从中训练一个机器人。在某些方面,运作良好的“网络的规模”与“训练数据的规模”如此相似或许令人惊讶(在与 ChatGPT 结构相似的较小网络中实际观察到的情况也是如此)。根据误差“反向传播”的主要问题在于,每次执行此操作时,网络中的每个权重通常都至少会发生微小的变化,而且有很多权重需要处理。

andyyah晓波的博客 561

Chatgpt训练过程

对于大规模的对话模型,通常需要投入大量的计算资源和时间来进行充分的训练,并对模型进行评估和调优以达到更好的性能和效果。

liuchengzhu的专栏 573
上一篇: 求求你们了,别再重复造轮子了,一个 Spring 注解轻松搞定循环重试功能!
下一篇: 目前工资最高的几家外包公司汇总!(2023最新版)
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值