LLM入门——在Colab上部署Llama2

LLM入门——在Colab上部署Llama2

2024/07/09

本文属于“LLM入门”系列，该系列是笔者自学LLM时记录的一些实践记录与心得，可能存在错误或过时的部分，请读者谅解。
对于LLM入门学者，我推荐从Large Language Model Course开始，这是一份优秀的学习路径指导。

本文为笔者二次整理的资料，重点关注在Colab上用基本方法部署Llama的指令过程。如有其他需求请参考对应博客：

• 可视化调用Llama2 / 在线试用 Llama2 / colab 一键部署：Llama2 部署及试用
• 跳过笔者的碎碎念，直接阅读笔者参考的原始资料：Getting Started with LlaMA 2: A Beginner’s Guide

Llama2

Llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型。

其中其中B是Billion，代表十亿参数

以Llama2为代表的开源LLM基本都能在huggingface下载。Hugging Face 是一个旨在推动自然语言处理（NLP）技术和工具发展的开源社区和公司。他们致力于提供各种NLP任务中的最新技术、模型和工具，以及为开发者提供便捷的方式来使用、微调和部署这些技术。

当然你也别着急去下载，个人PC的性能在LLM方向能做的事有限，我推荐初学者先在Colab上练练手。

Colab

Colaboratory（简称为Colab）是由Google开发的一种基于云端的交互式笔记本环境。它提供了免费的计算资源（包括CPU、GPU和TPU），可让用户在浏览器中编写和执行代码，而无需进行任何配置和安装。

如何用Colab创建代码请参考【机器学习 | 深度学习】Colab是什么？以及如何使用它？

Llama2 访问

获取Llama的两种方式：

• 官方申请：
  • 官网申请下载
  • huggingface获取官方库访问权限
• huggingface第三方下载

具体方式请参考Llama2 部署及试用。如果后续有继续使用Llama做研究的需求，建议官方申请，实测一两小时内即可成功。官方申请有几点注意事项：

• 官网/huggingface官方库申请时地区请选择"China"以外的任意选项
• 优先huggingface官方库，官网提供的下载方式过于麻烦

Colab部署

参考：Getting Started with LlaMA 2: A Beginner’s Guide

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。接下来基于LangChain在Colab上部署使用meta-llama/Llama-2-7b-chat-hf。

总体来看，部署一个LLM可以归纳为以下步骤：

1. Install required packages
2. Import required libraries
3. Download the model
4. Load the