LLM：LLaMA模型和微调的Alpaca模型

已于 2023-06-21 12:53:32 修改
阅读量1.8k 收藏 7
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM 文章标签： llama
于 2023-05-31 16:26:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pipisorry/article/details/130971590
LLaMA是斯坦福推出的一款70亿参数的Transformer解码器模型，采用RoPE旋转位置编码和SwiGLU激活函数。该模型在正则化方面采用了RMSNorm的预规范化。Alpaca是其中文版本，提供了本地推理和快速部署的方法。训练过程中使用了AdamW优化器和余弦学习率调度策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LLaMA模型

简单了解[LeCun狂赞：600刀GPT-3.5平替！ 斯坦福70亿参数「羊驼」爆火，LLaMA杀疯了]

论文原文：https://arxiv.org/abs/2302.13971v1

预训练数据

模型架构

模型就是用的transformer的decoder，模型设计的不同点在于：

1 Position Embedding：RoPE旋转位置编码rotary-embedding

删除了绝对位置嵌入，而是在网络的每一层添加了Sujianlin等人（2021）引入的旋转位置嵌入（RoPE）。

现阶段被大多数模型采用的位置编码方案，具有很好的外推性。

[RoPE旋转位置编码]

2 Feedforward Layer

采用SwiGLU；Feedforward变化为(8/3)倍的隐含层大小，即2/3*4d而不是4d。

SwiGLU激活函数：

Swish=x⋅sigmoid(βx)

源于PaLM中使用的[SwiGLU激活函数]

3 Layer Normalization: 基于RMSNorm的Pre-Normalization

同GPT3。 

Pre-Normalization

RMS Pre-Norm 

 

[LLM：大模型的正则化_-柚子皮-的博客-优快云博客]

不同模型的超参数的详细信息。

训练细节

使用AdamW优化器进行训练（Loshchilov和Hutter，2017），具有以下超参数：β1=0.9，β2=0.95。

使用余弦学习速率表，使得最终学习速率等于最大学习速率的10%。我们使用0.1的权重衰减和1.0的梯度裁剪。

使用2000个预热步骤，并根据模型的大小改变学习速度和批量大小。

Alpaca模型

[Stanford CRFM] 

中文聊天aipaca

GitHub - ymcui/Chinese-LLaMA-Alpaca

内容导引

章节描述
⏬模型下载中文LLaMA、Alpaca大模型下载地址
🈴合并模型（重要）介绍如何将下载的LoRA模型与原版LLaMA合并
💻本地推理与快速部署介绍了如何对模型进行量化并使用个人电脑部署并体验大模型
💯系统效果介绍了部分场景和任务下的使用体验效果
📝训练细节介绍了中文LLaMA、Alpaca大模型的训练细节

安装

python3.8

# wget https://download.pytorch.org/whl/cu111/torch-1.10.2%2Bcu111-cp38-cp38-linux_x86_64.whl
# wget https://download.pytorch.org/whl/cu111/torchvision-0.11.3%2Bcu111-cp38-cp38-linux_x86_64.whl
# wget https://download.pytorch.org/whl/cu111/torchaudio-0.10.2%2Bcu111-cp38-cp38-linux_x86_64.whl

# torch+cuda
# 进入whl所在目录
pip3 install torch-1.10.2+cu111-cp38-cp38-linux_x86_64.whl torchaudio-0.10.2+cu111-cp38-cp38-linux_x86_64.whl torchvision-0.11.3+cu111-cp38-cp38-linux_x86_64.whl
# transformers
pip3 install transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
# others
pip3 install fire fairscale sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

from:LLM：LLaMA模型和微调的Alpaca模型_-柚子皮-的博客-优快云博客

ref:[代码角度看LLaMA语言模型：Meta最新模型LLaMA细节与代码详解]

[Meta最新语言模型LLaMA论文研读：小参数+大数据的开放、高效基础语言模型阅读笔记]*

[LLaMA：开源的高效的基础语言模型 - 简书]

斯坦福大学开源Alpaca模型源码，性能与GPT-3.5相当比GPT4逊色，训练成本不到100美元（教程含源码）
iCloudEnd的博客
03-22 4025
GPT-3.5 (text-davinci-003)、ChatGPT、Claude 和 Bing Chat 等指令遵循模型现在被许多用户广泛使用，包括用于与工作相关的任务。然而，尽管它们越来越受欢迎，但这些模型仍然存在许多需要解决的缺陷。虚假信息、社会刻板印象和有毒语言是与这些模型相关的一些问题。为了解决这些紧迫的问题，学术界需要更积极地参与。不幸的是，由于在功能上接近闭源模型（如 OpenAI 的 text-davinci-003）的模型的可用性有限，因此在学术界研究指令遵循模型一直具有挑战性。
LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】
u013250861的博客
06-25 1183
前面提到LoRA模型无法单独使用，必须与原版LLaMA进行合并才能转为完整模型，以便进行模型推理、量化或者进一步训练。有些地方称为30B，实际上是Facebook在发布模型时写错了，论文里仍然写的是33B。中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。经过重构后的模型大小比同等量级的原版LLaMA大一些（主要因为扩充了词表）。下载后务必检查压缩包中模型文件的SHA256是否一致，请查看。具体内容请参考本项目 >>>具体内容请参考本项目 >>>
【LLM】LLaMA简介：一个650亿参数的基础大型语言模型
小哲的博客
04-26 6486
作为 Meta 对开放科学承诺的一部分，今天我们将公开发布LLaMA(大型语言模型 Meta AI) ，这是一个最先进的大型语言基础模型，旨在帮助研究人员推进他们在人工智能这一子领域的工作。更小，更高性能的模型，例如 LLaMA，使得研究社区中没有大量基础设施的其他人能够研究这些模型，进一步民主化这个重要的，快速变化的领域的访问。在大型语言模型空间中，训练像LLaMA这样的较小基础模型是可取的，因为它需要更少的计算能力和资源来测试新方法、验证他人的工作和探索新的用例。
本地部署大模型一定要用Ollama吗？
最新发布
2401_85325726的博客
05-08 324
随着开源大模型的兴起，越来越多的开发者希望将AI能力部署到本地，在众多部署工具中，Ollama以其一行命令跑模型的便捷性成为热门选择。但问题来了：本地部署大模型一定要用Ollama吗？
AI初识--LLM、ollama、llama都是些个啥？
weixin_66196770的博客
06-07 3万+
Ollama是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低使用大语言模型的门槛，使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型，包括如Llama 3、Phi 3、Mistral、Gemma等开源的大型语言模型。library因此，Ollama与LlamaLlama是大语言模型，而Ollama是大语言模型（不限于Llama模型）便捷的管理和运维工具。
AI初识—LLM、Ollama、Llama都是些个啥？
小蜗牛的珍贵百宝箱
10-10 3957
LLM指的是大语言模型（Large Language Model），是一种基于深度学习的模型，能够理解和生成自然语言。它通过大量文本数据进行训练，具备了理解上下文、生成连贯文本和回答问题的能力。著名的LLM包括OpenAI的GPT系列和Google的BERT。在AI技术快速发展的背景下，LLM、Ollama和Llama代表了现代自然语言处理的不同方面。LLM为我们提供了强大的语言理解能力，Ollama为模型的部署和管理提供了便利，而Llama则在效率和多样性上不断推进。
LLM之Alpaca：深入了解大模型Alpaca
qq_17827079的博客
03-18 6692
去年的Alpaca 7B模型，不仅展示了在处理指令任务上的出色能力，还因其相对小的规模和低廉的复现成本而引起了大家的注意。在本篇博客中，汇总了官方报告和官方Git的内容，通过阅读可以了解Alpaca 7B模型的起源、训练过程、性能评估以及其潜在的应用和限制。让我们一起走进ALpaca，深入理解这一代表了AI领域最新发展的创新成果。
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
AGI
11-07 1753
LLaMA-Factory 是开源的大模型微调框架，用于高效地微调和部署大语言模型，支持多种预训练模型和微调算法，提供完整的工具和接口，对于预训练的模型进行定制化的训练和调整，以适应特定的应用场景。
基于华为昇腾910B和LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
08-23 17万+
本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程，希望对使用大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 继续预训练(CPT) 3.4 SFT
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
人工智能讲师分享前沿技术
09-23 1491
LLaMA-Factory ——一个高效、易用的大模型训练与微调平台。它支持多种预训练模型，并且提供了丰富的训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。
Llama 3 模型微调的步骤
keyboard专栏
06-28 1519
LlaMa-Factory中已经为我们提供了非常完整的模型合并方法，同样，我们只需要编写脚本文件来执行合并操作即可，即llama3_merge_model.sh。同样，该脚本文件也可以按照此前single_lora_llama3.sh脚本相类似的操作，就是将课件中提供的脚本直接上传到Jupyter主目录下，再复制到LlaMa-Factory主目录下进行运行。建议在执行项目的依赖安装之前升级 pip 的版本，如果使用的是旧版本的 pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。
GPT-3.5平替强势来袭——Alpaca: A Strong Open-Source Instruction-Following Model
WeLearnNLP
03-14 1172
文章介绍了一款名为Alpaca的指令跟随模型，该模型基于Meta的LLaMA 7B模型进行微调，并使用OpenAI的text-davinci-003生成的52K个指令跟随演示进行训练。作者提供了该模型的训练配方和数据，并计划在未来公开模型权重。作者进行了初步的人类评估，并将互动演示用于展示该模型的能力和局限性。文章还强调，Alpaca仅用于学术研究，商业用途被禁止。本文将以读者视角介绍Alpaca的原理、训练过程、评估结果以及局限性，并讨论指令跟随模型的潜在应用和未来发展方向。
斯坦福发布大模型Alpaca：A100上训3小时，性能比较GPT-3.5，被挤爆！
夕小瑶科技说
03-15 9138
源｜新智元Meta的LLaMA模型开源，让文本大模型迎来了Stable Diffustion时刻。今天，斯坦福发布了一个由LLaMA 7B微调的模型Alpaca，训练3小时，性能比肩GPT-3.5。一觉醒来，斯坦福大模型Alpaca（草泥马）火了。没错，Alpaca是由Meta的LLaMA 7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体...
Alpaca-cpp（羊驼-cpp）: 可以本地运行的 Alpaca 大语言模型
珍妮的选择的博客
03-23 5305
本文简要介绍 Alpaca-cpp，可以使用本地电脑 CPU 流畅运行大语言模型 Alpaca/LLaMA 的 C++/C 框架。
大模型微调 LLaMA详细指南（准备环境、数据、配置微调参数+微调过程）
pythonhy的博客
10-21 1838
微调 LLaMA（Large Language Model Meta AI）大模型是一个重要的步骤，能够使模型适应特定的任务或数据集，提高其在特定应用场景下的表现。以下是关于如何进行 LLaMA 大模型微调的详细指南，包括准备环境、数据、配置微调参数以及执行微调过程。
【LLM系列】00：斯坦福 Alpaca 模型介绍及其复现
ljp1919的专栏
04-21 3982
Stanford Alpaca是一个Instruction-following的LLaMA模型，即一个对LLaMA模型进行指令调优的结果模型。更多细节可以参考。
LLaMA模型微调版本：斯坦福 Alpaca 详解
Gefangenes的博客
07-09 720
性能上作者对Alpaca进行了评估，与openai的text-davinct-003模型在self-instruct[2]场景下的性能表现相似。Alpaca 是 LLaMA-7B 的微调版本，使用Self-instruct[2]方式借用text-davinct-003构建了52K的数据，同时在其构建策略上做了一些修改。最终的结果是以少于$500的便宜价格获得了52K的数据，下图反映了其数据多样性，内圈是词根是动词的指令，外圈是表示目标的指令。详细的Self-instruct可以看我别的文章。
使用LlamaFactory进行模型微调
liuzhenghua66的博客
10-11 1961
论文地址：https://arxiv.org/pdf/2403.13372仓库地址：https://github.com/hiyouga/LLaMA-Factory/tree/main。
大模型入门（一）—— LLaMa/Alpaca/Vicuna
chaishen10000的专栏
06-15 5916
相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed AI，至少LLaMa论文和模型都开源出来了，目前hugging face已集成了LLaMa的代码实现和开源模型。Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。
跨模型技术新方案：LLM-Base+LLM-X+Alpaca集成与Zero-Finetune优化
资源摘要信息:"该文档描述了一种创新的跨模型技术方案，其核心是通过多Lora权值集成切换和Zero-Finetune零微调增强技术，以实现LLM-Base和LLM-X模型以及Alpaca模型的有效集成。在这一方案中，LLM-Base模型以Chatglm...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值