一文读懂Llama 2（从原理到实战）

已于 2024-12-10 16:57:40 修改
阅读量2k 收藏 20
点赞数
CC 4.0 BY-SA版权
文章标签： llama
于 2023-09-25 10:04:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/p309654858/article/details/133267179
MetaAI发布了Llama2，一个包含70亿至700亿参数的大型语言模型系列，特别优化了对话场景。本文介绍了如何从GitHub下载微调代码，安装环境，以及下载和使用HuggingFace上的Llama-2-7b模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

简介

Llama 2，是Meta AI正式发布的最新一代开源大模型。

Llama 2训练所用的token翻了一倍至2万亿，同时对于使用大模型最重要的上下文长度限制，Llama 2也翻了一倍。Llama 2包含了70亿、130亿和700亿参数的模型。Meta宣布将与微软Azure进行合作，向其全球开发者提供基于Llama 2模型的云服务。同时Meta还将联手高通，让Llama 2能够在高通芯片上运行。

Llama 2是一系列预训练和微调的大型语言模型（LLMs），参数规模从70亿到700亿不等。Meta的微调LLMs，叫做Llama 2-Chat，是为对话场景而优化的。Llama 2模型在大多数基准上都比开源的对话模型表现得更好，并且根据人类评估的有用性和安全性，可能是闭源模型的合适替代品。Meta提供了他们对Llama 2-Chat进行微调和安全改进的方法的详细描述。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
github地址：https://github.com/facebookresearch/llama-recipes
开源7B、13B、70B模型（7B模型约12.5GB，13B模型需要24.2GB）
在这里插入图片描述</

最低0.47元/天 解锁文章

200万优质内容无限畅学
_S_Q
关注
最强开源模型 Llama 3.1 部署推理微调实战大全
寻道AI，探索AI无限可能！
08-02 8932
在人工智能的浪潮中，大型语言模型（LLMs）已成为推动技术进步的关键力量。随着Meta公司最新开源的Llama 3.1模型的问世，我们见证了开源AI领域的一大飞跃。Llama 3.1以其卓越的性能和广泛的应用潜力，为开发者和研究者提供了一个强大的工具，以探索和实现各种复杂的AI应用。
llama2-7b下载并转llama-2-7b-hf
最新发布
wenling54321的博客
05-28 355
④输入https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py会下载 convert_llama_weights_to_hf.py 文件，我们需要用到这个文件将llama2-7b转成llama-2-7b-hf。③下载完之后是这四个文件，这里我是在windows操作系统中安装的WSL，没有linux操作系统，没办法。
【LLM系列之LLaMA2】LLaMA 2技术细节详细介绍！
yanqianglifei的专栏
07-19 6394
🧮 7B、13B & 70B 参数版本🧠 70B模型采用分组查询注意力（GQA）🛠 聊天模型可以使用工具和插件🚀 LLaMA 2-CHAT 与 OpenAI ChatGPT 效果一样好🤗 发布在HuggingFace：https://huggingface.co/meta-llama公告: https://ai.meta.com/llama/
浅读LLAMA2
不积跬步，无以至千里！
03-13 697
2023年7月，Mata正式推出Llama 2，包含一系列预训练和微调的大型语言模型（LLMs），参数规模从7B到70B不等。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5581
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
Llama 2：新一代开源LLM，可用于研究和商业用途
FrenzyTechAI的博客
07-27 1512
大型语言模型（LLMs）在各种复杂推理任务中表现出色，包括编程和创意写作等专业领域。LLMs通过直观的聊天界面与人类进行交互，这导致了它们在公众中的快速和广泛采用。然而，由于训练LLMs所需的计算量较大，只有少数公司能够实现其发展。目前已经有一些公开发布的预训练LLMs，如BLOOM、LLaMa-1和Falcon，它们与闭源预训练模型如GPT-3和Chinchilla相媲美。
一文读懂大语言模型：基础概念篇
孟林洁的博客
08-26 4374
在当今AI时代，大语言模型正以前所未有的速度重塑我们的世界。作为NLP领域的明星，它们不仅理解语言，更创造语言，开启了智能交互的新纪元。 本文将介绍着重介绍大模型的概念，帮助大家简单了解其技术原理、发展历程，并介绍国内外比较优秀的大模型。
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL DPO(LoRA) 图像数据集 教程 (3)
AGI
11-26 2777
DPO(Direct Preference Optimization, 直接偏好优化) 是在 RLHF 阶段中使用的优化算法，通过直接利用人类的偏好数据来优化策略模型，无需定义明确的奖励函数或进行复杂的强化学习过程。DPO的优化目标是，增加偏好样本的对数概率与减小非偏好样本响应的对数概率，结合动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。
一文读懂LLM Fine Tuning（微调）
2401_85377976的博客
08-12 1377
一个普遍的误解是：人们认为微调(Fine-Tuning) 是 LLM 获取新知识的唯一 (或最佳) 方式。事实并非如此。无论是为产品添加智能协作助手，还是使用 LLM 分析存储在云端的大量非结构化数据，企业的实际数据和业务环境才是选择合适 LLM 方法的关键因素。在许多情况下，与传统的微调方法相比，采用其他策略往往更能有效地实现企业的目标。这些策略可能操作复杂度更低、对频繁变化的数据集具有更强鲁棒性、或者能产生更可靠准确的结果。那么，何为LLM Fine Tuning？
AI+技术 | 一文读懂以LLM为核心的AI Agent的架构指南
Meimei9411的博客
07-29 1179
控制端处于核心地位，大脑模块承担记忆、思考以及决策制定等基础工作，感知模块则负责接受和处理来自外部环境的多样化信息，如声音、文字、图像、位置等，最后，行动模块通过生成文本、API调用、使用工具等方式来执行任务以及改变环境。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
一文读懂Llama2的架构和推理过程
02-26 1万+
Meta公司发布了一众备受瞩目的Llama系列大模型，其中的佼佼者无疑是优化后的Llama 2系列该模型训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，在各种基准集的测试上表现突出。深入了解Llama 2，可用于研究和商业用途。我们今天主要来了解一下该模型的整体结构和推理过程。
大模型之Llama系列- LlaMA 2及LLaMA2_chat(上)
2301_81940605的博客
12-21 2675
LlaMA 2是一个经过预训练与微调的基于自回归的transformer的LLMs，参数从7B至70B。同期推出的Llama 2-Chat是Llama 2专门为对话领域微调的模型。
精调训练中文LLaMA模型实战教程，民间羊驼模型
artistkeepmonkey的博客
05-26 3755
在学习完上篇【博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型】后，我们已经学会了使用无监督的语料预训练LLaMA模型，无监督的语料能让模型学会预测下一个字符是什么，但是还不能让模型理解人类的对话意图，经过指令精调之后模型就可以具备对话能力了。1训练数据准备，精调指令.json。2训练脚本编写，主要参数讲解，消耗显存控制在24GB以内3训练实战，测评。
一文看懂llama2 (原理&模型&训练)
破损的天堂鸟博客
07-16 1461
LLaMA2在自然语言处理任务中表现出色，能够自适应地处理各种NLP任务，如文本生成、摘要和翻译等。
超详细LLama2+Lora微调实战
人工智能讲师分享前沿技术
04-17 2万+
国内外使用Huggingface模型格式和其配套的通用代码进行微调是主流，且使用方便，这次想从最基本的模型开始，所以选择了方案2，等基本方案摸索清楚后再使用国内大家用中文微调后的模型，比如流行的Chinese-LLaMA-Alpaca-2、Llama2-Chinese等。当然，并不是说基座模型没有翻译能力，输入一些别的prompt格式，基座模型是可以翻译的，只是翻译中文不是它的强项，上面实验我的侧重点也是为了验证微调是起了作用的，并且只训练了200步，共见了200*64=12800条数据，效果还是很明显。
一文看懂llama2（原理&模型&训练）
CV_Autobot的博客
04-08 5343
作者|yeyan 编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/651248009点击下方卡片，关注“自动驾驶之心”公众号戳我-> 领取自动驾驶近15个方向学习路线>>点击进入→自动驾驶之心『大模型』技术交流群本文只做学术分享，如有侵权，联系删文1.基础知识llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长...
llama2大模型---商用部署（模型推理阶段）预算估算
渊兮湛兮
09-27 5602
llam2模型部署成本试核算
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”
丨汀、的博客
10-11 1802
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”
llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)
热门推荐
我祝你身体健康～一千遍——也～不够～～～～够！！！
07-25 4万+
llama2显存占用，本地部署，本地推理
llama2-7b实战项目
04-03
### Llama2-7B 实战项目与案例 Llama2-7B 是 Meta 开源的大规模语言模型之一，具有强大的自然语言处理能力。以下是几个实际应用项目的示例以及相关代码片段。 #### 1. 文本生成任务 Llama2-7B 可用于多种文本生成任务，例如文章摘要、故事创作等。以下是一个简单的 Python 脚本，展示如何加载并运行 Llama2-7B 进行文本生成[^2]： ```python from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-chat-hf") model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf") def generate_text(prompt, max_length=50): inputs = tokenizer.encode(prompt, return_tensors="pt") outputs = model.generate(inputs, max_length=max_length, num_return_sequences=1) text = tokenizer.decode(outputs[0], skip_special_tokens=True) return text prompt = "Once upon a time" generated_text = generate_text(prompt) print(generated_text) ``` 此脚本通过 Hugging Face 的 `transformers` 库加载预训练的 Llama2-7B 模型，并生成一段基于给定提示的文字。 --- #### 2. 对话系统开发 Llama2-7B 提供了一个专门为对话优化的变体——Llama2-Chat。它能够理解上下文并生成连贯的回答。下面是一段实现简单对话系统的代码: ```python from transformers import pipeline chatbot = pipeline(model="meta-llama/Llama-2-7b-chat-hf", task="text-generation") conversation_history = [] while True: user_input = input("You: ") conversation_history.append(user_input) prompt = "\n".join(conversation_history[-3:]) # 使用最近三轮对话作为输入 response = chatbot(prompt, max_length=100)[0]['generated_text'] print(f"Bot: {response}") conversation_history.append(response.split("\n")[-1]) # 更新历史记录 ``` 上述代码实现了一个人机交互界面，允许用户连续提问并与聊天机器人互动。 --- #### 3. 微调与自定义应用场景 如果希望进一步定制化 Llama2-7B 模型以适应特定领域的需求，则可以采用 LoRA（Low-Rank Adaptation）技术进行高效微调。以下是如何利用 LoRA 技术调整 Llama2-7B 的实例[^3]： ```bash pip install peft datasets accelerate bitsandbytes ``` 接着编写如下 Python 脚本来完成指令微调过程： ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig from peft import get_peft_model, LoraConfig, TaskType model_name_or_path = "meta-llama/Llama-2-7b-chat-hf" bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.float16 ) tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path, quantization_config=bnb_config, device_map={"": 0}) peft_config = LoraConfig(task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1) model = get_peft_model(model, peft_config) # 训练逻辑省略... ``` 这段代码展示了如何配置量化策略和 LoRA 参数来降低内存消耗的同时保持性能提升效果显著。 --- #### 总结 以上介绍了三种常见的实战方向及其对应代码样例：基础文本生成、对话系统构建以及高级微调方法。这些工具和技术可以帮助开发者更好地挖掘 Llama2-7B 的潜力，在各自的应用场景下发挥其最大价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

_S_Q

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值