如何微调Chinese-Vicuna-7b模型

原创 已于 2023-05-19 17:46:31 修改 · 1.8k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-05-19 17:40:31 首次发布
文章讲述了在面临国内云环境速度慢的问题时，推荐使用谷歌云GCP。通过示例展示了如何克隆GitHub仓库、加速pip安装和模型下载。接着，对Chinese-Vicuna项目进行数据准备和微调，并生成web界面以运行应用。
部署运行你感兴趣的模型镜像

环境建议：使用谷歌云GCP，国内的云环境实在是太慢了哦。github慢，pip 慢，下载模型也慢。

1.下载环境

!git clone https://github.com/Facico/Chinese-Vicuna
!pip install -r ./Chinese-Vicuna/requirements.txt

2. 准备数据 json/jsonl格式

3. 微调

!python ./Chinese-Vicuna/finetune.py --data_path /content/Chinese-Vicuna/sample/instruct/data_sample.jsonl --test_size 5

4.生成web界面

!python ./Chinese-Vicuna/generate.py --model_path decapoda-research/llama-7b-hf --lora_path /content/lora-Vicuna --use_local 0

5.运行界面

您可能感兴趣的与本文相关的镜像

Python3.11

Python3.11

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

【ChatGPT】Web LLM：你的本地的ChatGPT —— 完全在您的浏览器中运行 vicuna-7b 大型语言模型，它非常令人印象深刻
AI天才研究院
04-18 1万+
让你的 LLM 助手总结错误的网页，攻击者可能会诱骗它泄露你所有的私人数据，或者删除你所有的电子邮件，或者更糟。ShareGPT 是一个人们分享他们的 ChatGPT 记录的网站，这意味着微调是使用未经许可用于此类目的的数据进行的（OpenAI 条款和条件不允许使用这些数据来训练竞争对手的语言模型。但是，与之前的 LLaMA 和 Alpaca 一样，这个项目令人兴奋的地方在于它所展示的内容：我们现在可以完全在浏览器中运行功能极其强大的 LLM——尽管是测试版浏览器版本，而且是在功能非常强大的笔记本电脑上。
学习实践-Vicuna【小羊驼】（部署+运行）
LZL2020LZL的博客
04-18 6192
3 月底，UC伯克利开源大语言模型Vicuna来了，这是一个与 GPT-4 性能相匹配的 LLaMA 微调版本。“缺啥补啥缺啥练啥，傻子也突出”！Vicuna 使用从 ShareGPT 收集的用户共享数据对 LLaMA 模型进行微调（ShareGPT 是一个 ChatGPT 数据共享网站，用户会上传自己觉得有趣的 ChatGPT 回答）。利用ShareGPT的7万对话数据对LLaMA微调。Vicuna训练硬件：8块 A100 80G的GPU（比Alpaca训练花销便宜一半）
llama-7B、vicuna-7b-delta-v1.1和vicuna-7b-v1.3——使用体验
入门记
11-06 1640
动手体验了下Vicuna-7b，翻译过来是小羊驼」（骆马），拥有70亿参数，据作者实验能达到GPT-4的90%性能。python3 -m cli是python3执行cli.py文件，具体内容，要看cli.py写了什么。Chatgpt的出现给NLP领域带来了让人振奋的消息，可以很逼真的模拟人的对话，回答人们提出的问题，不过Chatgpt参数量，规模，训练代价都很昂贵。提问方式很重要：输入china，回答的只能说是相关，文字就少很多。幸运的是，出现了开源的一些相对小的模型，可以在本地或者云端部署体验，
如何安装和使用vicuna
算法笨蛋
04-27 2393
Vicuna 是基于 LLaMa 微调得来的大规模语言对话模型。本文以 Vicuna-7B 模型为例，安装和使用 Vicuna。若需使用 Vicuna-13B 模型，仅需把参数 7B 改成 13B 即可。
在单块16G推理卡上微调复现Vicuna-7B：高效定制化大语言模型
gitblog_00639的博客
09-13 838
在单块16G推理卡上微调复现Vicuna-7B：高效定制化大语言模型 项目介绍 在人工智能领域，大语言模型（LLM）的微调是提升模型性能的重要手段。然而，微调大模型通常需要大量的计算资源，尤其是显存。本项目旨在解决在单块16G显存的推理卡上微调复现Vicuna-7B模型的挑战。Vicuna-7B是基于Facebook的LLaMA模型微调而来的，特别适用于多轮对话场景，其训练效果优于传统的单轮对话模...
【CV2NLP】Chinese-Vicuna 中文小羊驼
weixin_48827824的博客
05-05 1885
最近羊驼家族百花齐放，赶紧学习一下 ChatBot 的背后细节。Chinese-Vicuna 中文小羊驼是基于 Vicuna 模型使用中文数据 + LORA 方案来微调的一种中文对话模型，是一个具备一些基础通用的中文知识模型，它具体能实现什么功能呢？
Chinese-Vicuna: 一个基于LLaMA的中文指令跟随模型
m0_56734068的博客
09-23 1338
Chinese-Vicuna是一个基于LLaMA的中文指令跟随模型，由研究者开发，旨在以低资源的方式实现高效的中文语言模型训练。该项目的主要目标是构建和分享可以在单个Nvidia RTX-2080TI上训练的中文指令跟随LLaMA模型调优方法，以及可以在单个Nvidia RTX-3090上训练的多轮聊天机器人（上下文长度为2048）。Chinese-Vicuna的名称灵感来源于成功开发的alpaca模型，如llama、alpaca和guanaco。
Vicuna模型权重合成及模型部署
along_000的博客
06-19 2109
Vicuna模型权重合成及模型部署
vicuna-1.5-7b 微调
最新发布
02-27
### 关于 Vicuna-1.5-7B 模型微调方法 对于希望在有限硬件条件下对 Vicuna-1.5-7B 进行微调的研究者来说，可以借鉴一些现有项目的实践经验。为了克服显存不足带来的挑战，在单块16GB显存的GPU上实现有效的模型微调...
基于Docker环境部署/微调7B/13B Vicuna
AIMasterStar的博客
05-31 931
下载pytorch，https://pytorch.org/，这里我们要先看一下cuda版本（nvcc --version）如果python版本为3.10，CUDA版本为11.8（下载地址：https://developer.nvidia.com/cuda-toolkit-archive，安装参考文献[3]），选择安装pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 8万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
【LLM大模型】大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼
2301_81940605的博客
07-12 3542
继斯坦福羊驼（Stanford Alpaca）之后，UC伯克利、CMU、斯坦福等机构的学者，联手发布了最新开源大模型骆马（Vicuna），包含7B和13B参数。好了，从0到1复现了Vicuna的训练及推理。总的来说，在超过 90%的问题中，GPT-4 更喜欢 Vicuna 而非其他SOTA开源模型（LLaMA 和 Alpaca）的答案，而且在性能上与专有模型（ChatGPT、Bard）等相差不大。在 45%的问题中，GPT-4 都将 Vicuna 的回答评为优于或等于 ChatGPT 的回答。
大模型也内卷，Vicuna训练及推理指南，效果碾压斯坦福羊驼
吃果冻不吐果冻皮
05-12 2058
为了提供演示服务，Vicuna研究人员建立了一个轻量级的分布式服务系统，创建了八个问题类别（如：角色扮演、编码/数学任务等）的 80 个不同问题，利用 GPT-4 来判断模型输出，借此对模型质量做初步评估。Vicuna具体的工作流程如下图所示，首先，研究人员从 ShareGPT.com（一个供用户分享 ChatGPT 对话内容的网站）收集了约 7 万个对话，并增强了 Alpaca 提供的训练脚本，以更好地处理多轮对话和长序列。追加到上面的命令中，这会将大权重文件拆分为较小的文件，并将磁盘用作临时存储。
LLM：在AutoDL上进行Vicuna 7B模型简单部署体验
xu.hyj
04-16 7949
随着ChatGPT的火热，科技公司们各显神通，针对大语言模型LLM通常需要极大的算力支持，且没有开源，阻碍了进一步的研究和应用落地。受 Meta LLaMA 和 Stanford Alpaca 项目的启发，来自加州大学伯克利分校、CMU、斯坦福大学和加州大学圣地亚哥分校的成员，共同推出了一个 Vicuna-13B 开源大模型。本文将尝试在3090上运行Vicuna-7B模型。
win10,win11 下部署Vicuna-7B，Vicuna-13B模型，gpu cpu运行
babytiger的专栏
05-16 8014
运行Vicuna-7B需要RAM>30GB或者14GB的显存运行Vicuna-13B需要RAM>60GB或者28GB的显存如果没有上面的硬件配置请绕行了，我笔记本有64G内存，两个都跑跑看，使用python3.9，当时转换13b时一直崩溃后来发现是没有设定虚拟内存，后来加上了9个G，才可以跑起来下载llama原始模型也可以用迅雷下载下面的链接，注只要7b，13b就可以了：magnet:?下载的文件如下：下载vicuna-7b-delta-v1.1 和vicuna-13b-delta-v1.1。
ChatGPT/GPT4开源“平替”汇总
weixin_48827824的博客
04-12 6331
寻找那些ChatGPT/GPT4开源“平替”们。
Chinese-Vicuna 开源项目教程
gitblog_01022的博客
08-09 551
Chinese-Vicuna 开源项目教程 Chinese-VicunaChinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca项目地址:https://gitcode.com/gh_mirrors/ch/Chinese-Vicuna 项目介绍 Chin...
LLM系列 | 02: Vicuna简介及模型部署实测
ljp1919的专栏
04-30 1万+
Vicuna-13B是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com产生的用户对话数据，共70K条。使用 GPT-4 作为判断的初步评估表明，Vicuna-13B 达到了 OpenAI ChatGPT 和 Google Bard 90% 以上的质量，同时在>90%的情况下优于 LLaMA 和 Stanford Alpaca 等其他模型。剧透下，后文实测效果，其实吧，还行吧。此外，将冗长的对话分成更小的部分，以适应模型的最大上下文长度。月黑见渔灯，孤光一点萤。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

jacky_wxl(微信同号）

喜欢作者

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值