[大模型] 搭建llama主流大模型训练环境

原创 已于 2023-05-11 09:53:31 修改 · 4.6k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llama #人工智能 #算法

于 2023-05-10 19:22:19 首次发布
该文介绍了在Ubuntu18.04系统上，使用4块A100GPU进行大模型LLAMA的训练环境配置，包括CUDA、cuDNN和nccl的安装。接着，详细阐述了如何将LLAMA模型转换为HuggingFace的格式，并使用fork版的transformers进行加载。最后，提到了基于转换后的模型进行再训练或finetuning的准备步骤。

关键词：大模型，LLAMA，CUDA，模型训练

1. 基础环境

OS： Ubuntu 18.04
GPU： 4*A100(40G) (单机4卡A100 40G)
CUDA：11.7
cuDNN： 8.4.1 (需要登录官网后下载)
nccl： 2.12.12 (需要登录官网后下载)
python： 3.10 (conda create -n vllm python=3.10)
pytorch： 2.0.0+cu117 离线安装包地址
LLaMA-7B/13B/30B/65B模型： 下载地址，需要安装ipfs，也可通过pyllama进行下载：


                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    

      

        

            

              
                
                  晨阳2023
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
LLama系列大模型

				
			

			

				

					TOUCH的博客
				

				

					10-29
					
					728
					
				

			

		

		

			
				
架构演进：从基础Transformer架构逐步引入GQA优化注意力机制，最终发展到MoE混合专家架构和多模态融合，实现了从密集模型到高效稀疏模型的转变，大幅提升了性能与效率比。多模态能力：从单一文本模型扩展到支持视觉、图像等多模态输入，LLama 4采用早期融合机制，将文本与视觉token一体化输入模型主干，实现了端到端的多模态理解和生成。上下文长度突破。

			
		

	



                

            
              



	

		

			

				
					
大规模语言模型从理论到实践 LLaMA分布式训练实践

				
			

			

				

					AI天才研究院
				

				

					06-27
					
					620
					
				

			

		

		

			
				
大规模语言模型从理论到实践 LLaMA分布式训练实践
作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming
关键词：大规模语言模型，LLaMA，分布式训练，并行处理，GPU加速
1. 背景介绍

			
		

	



              


  
              

                


	

		

			

				
					
使用LLaMA-Factory快速训练自己的专用大模型

				
			

			

				

					互联网架构小马的博客
				

				

					09-03
					
					1717
					
				

			

		

		

			
				
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。

			
		

	





	

		

			

				
					
一文搞懂⼤模型的训练：完整的代码演示

					
最新发布

				
			

			

				

					m0_74942241的博客
				

				

					07-21
					
					831
					
				

			

		

		

			
				
大模型训练分为三个阶段：预训练阶段通过海量语料学习语言统计规律；监督微调(SFT)阶段专注于特定领域知识学习；基于人类反馈的强化学习(RLHF)阶段通过人类评分优化回答质量。当前主流模型分为BERT（擅长自然语言理解）和GPT（生成式模型）两类方向。大模型本质上是通过概率计算进行文本生成，并非真正理解语义。随着AI技术发展，掌握大模型技能将成为重要竞争优势。文中还提供了使用OpenAI API进行文本生成的代码示例，展示了GPT模型的基本应用方式。

			
		

	



		

			
		



	

		

			

				
					
基于llama模型进行增量预训练

				
			

			

				

					yuyangchenhao的博客
				

				

					06-19
					
					1万+
					
				

			

		

		

			
				
大家知道AI模型是怎么训练出来的吗？AI模型的训练训练过程分为如下三个阶段第一个阶段叫做无监督学习（PreTraining），就是输入大量的文本语料让GPT自己寻找语言的规律， 这样一个巨大的词向量空间就形成了，但是话说的漂亮并不一定正确。第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调)，就是人工标注一些语料，教会GPT什 么该说，什么不该说。（训练数据集）

			
		

	





	

		

			

				
					
从头预训练一只超迷你 LLaMA 3

				
			

			

				

					weixin_45727359的博客
				

				

					05-27
					
					760
					
				

			

		

		

			
				
作者：Xode原文：https://zhuanlan.zhihu.com/p/695130168这次打算用 Hugging Face 的 API 来写一份预训练大（小）模型的代码，也就是用 Trainer 来做预训练。由于只是想练习一下，因此打算选一个极小模型 + 小数据集。为了贴近主流，于是打算预训练一个 LLaMA 3——不过是超迷你版本，大小仅不到 20M。想起来曾经看到过的微软的工作 Ti...

			
		

	





	

		

			

				
					
Llama~transformers搭建

				
			

			

				

					whaosoft143ai的博客
				

				

					08-07
					
					3014
					
				

			

		

		

			
				
俗话说，魔鬼隐藏在细节中，深入理解Llama模型的的源码细节，将会帮助你打通和开源LLM模型相关的基础原理(如旋转位置编码以及长度外推)，并让你熟悉各种参数的配置和使用(如past_key_value，attention_mask的使用等等)。因为在这种情况下，衰减规律在短距离情况下的使用会受到较严重的影响，本来距离为1的两个token，长度扩展后相当于变成了距离为1/16，衰减规律在短距离时可能具有非常大的变化率，因此对相关性的评估可能会极端地偏离合理值。2，文本生成generate方法。whaosoft

			
		

	





	

		

			

				
					
【大模型微调与部署】基于llama-factory的大规模语言模型微调及量化部署全流程指南

				
			

			

				

					06-09
				

			

		

		

			
				
内容概要：本文档详细介绍了大模型微调的实际操作流程，以llama-factory项目为核心，涵盖了从环境搭建、模型训练、微调、评估到部署的全过程。首先，文档提供了详细的前置准备工作，包括硬件和软件环境的准备，如...

			
		

	





	

		

			

				
					
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)

				
			

			

				

					aidashuju的博客
				

				

					09-26
					
					1933
					
				

			

		

		

			
				
沿用了Llama 1的设计与架构：RoPE、RMSNorm、SwiGLU+AdamWLlama 2采用了Llama 1中的大部分预训练设置和模型架构，包括标准Transformer架构、使用RMSNorm的预归一化、SwiGLU激活函数和旋转位置嵌入(RoPE)。采用AdamW 优化器进行训练，其中β1=0.9，β2=0.95，eps=10−5β1=0.9，β2=0.95，eps=10−5。同时使用余弦(consin)学习率表, 预热2000 步，并最终将学习率衰减到了峰值学习率的10%。

			
		

	





	

		

			

				
					
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel

				
			

			

				

					2402_84466582的博客
				

				

					07-29
					
					1万+
					
				

			

		

		

			
				
大模型框架汇总：大模型框架Ollama、大模型框架vLLM、大模型框架LightLLM、大模型框架llama.cpp、大模型框架LocalAI、大模型框架veGiantModel

			
		

	





	

		

			

				
					
大模型三阶段训练方法(LLaMa Factory)

				
			

			

				

					2401_85373691的博客
				

				

					12-24
					
					5660
					
				

			

		

		

			
				
根据LLaMa-Factory的README，我们需要在中按照以下格式注册自定义的数据集。"数据集名称": { "file_name": "data.json", "columns": { "prompt": "text" } }我们在在},在中，注册新添加的数据集。},

			
		

	





	

		

			

				
					
LLaMA-META发布单卡就能跑的大模型

				
			

			

				

					liliang199的专栏
				

				

					02-27
					
					3296
					
				

			

		

		

			
				
2023年2月25日，Meta使用2048张A100 GPU，花费21天训练的Transformer大模型LLaMA开源了。

			
		

	





	

		

			

				
					
LLaMA系列模型

				
			

			

				

					wdn blog
				

				

					12-18
					
					3940
					
				

			

		

		

			
				
2023年2月，Meta（原Facebook）推出了LLaMA大模型，在相关评测任务上的效果可以媲美甚至超过千亿级大模型，被认为是近期开源大模型百花⻬放的开端之一，“羊驼”系列模型及其生态快速发展。

			
		

	





	

		

			

				
					
本地环境运行Llama 3大型模型：可行性与实践指南

				
			

			

				

					weixin_42147666的博客
				

				

					04-23
					
					3047
					
				

			

		

		

			
				
Llama 是由 Meta（前身为 Facebook）的人工智能研究团队开发并开源的大型语言模型（LLM），它对商业用途开放，对整个人工智能领域产生了深远的影响。继之前发布的、支持4096个上下文的Llama 2模型之后，Meta 进一步推出了性能更卓越的 Meta Llama 3系列语言模型，包括一个8B（80亿参数）模型和一个70B（700亿参数）模型。Llama 3 70B 的性能媲美，全面超越 Claude 大杯，而 400B+ 的模型则有望与 Claude 超大杯和新版掰手腕。

			
		

	





	

		

			

				
					
常见大模型——LLaMA模型

				
			

			

				

					FPGA/MATLAB学习教程/源码/项目合作开发
				

				

					01-06
					
					1540
					
				

			

		

		

			
				
LLaMA（Large Language Model Meta AI）是由Meta开发的一种大规模语言模型，旨在提高自然语言处理任务的性能。LLaMA基于Transformer机构，并经过大规模数据训练，以便在多种语言任务中表现出色。LLaMA在Transformer结构的基础上，采用前置层归一化（Pre-normalization）和RMSNorm归一化函数（Normalizing Function）、SwiGLU激活函数，并使用了旋转位置嵌入（RoPE）。

			
		

	





	

		

			

				
					
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）

				
			

			

				

					chenyang2203的博客
				

				

					05-11
					
					4715
					
				

			

		

		

			
				
llama系列大模型调研及关键信息整理，llama/standford-alpaca/alpaca-lora/chinese-llama-alpaca/belle等

			
		

	





	

		

			

				
					
收藏 | 看懂llama2 原理、模型和训练

				
			

			

				

					zenRRan的博客
				

				

					12-01
					
					7352
					
				

			

		

		

			
				
作者：yeyan，中国地质大学 工程硕士 编辑：青稞AI基础知识llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型，在各种基准集的测试上表现突出，最重要的是，该模型可用于研究和商业用途。1.1 分词（tokenize）语言模型是对文本进行推理。由于文本是字符串，但对模...

			
		

	





	

		

			

				
					
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用

				
			

			

				

					人工智能领域博客
				

				

					05-14
					
					1万+
					
				

			

		

		

			
				
本文先对LLaMA-Factory项目进行介绍，之后逐行详细介绍了该项目在国内网络环境下如何安装、部署，最后以Baichuan2-7B为例，通过讲解训练参数的方式详细介绍了基于LLaMA-Factory WebUI的大模型微调训练。篇幅有限，专栏内会持续更新，详细介绍大模型微调训练方法。如果觉得对你有帮助，期待您的关注，点赞、收藏或评论，您的支持是我持续码字的动力。

			
		

	





	

		

			

				
					
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）

					
热门推荐

				
			

			

				

					六五酥的博客
				

				

					07-31
					
					2万+
					
				

			

		

		

			
				
Llama 2，基于优化的 Transformer 架构，是Meta AI正式发布的最新一代开源大模型，一系列模型（7b、13b、70b）均开源可商用，效果直逼gpt3.5，本文以LLaMA2.c来说明如何基于LLaMA2来训练一个故事生成模型，主要包括数据处理，模型训练，模型推理，关键代码简介等等。

			
		

	





	

		

			

				
					
Windows下LLaMA-Factory大模型微调安装指南

				
			

			

				

					
				

			

		

		

			
				
在Windows系统上安装并配置LLaMA-Factory用于大模型微调是一项涉及多个技术层面的复杂任务，涵盖操作系统适配、深度学习环境搭建、GPU驱动支持、Python虚拟环境管理、CUDA与PyTorch版本兼容性处理等多个关键环节。...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值