Phi-3-Medium-128K-Instruct 模型的安装与使用教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_02906/article/details/144422859

Phi-3-Medium-128K-Instruct 模型的安装与使用教程

Phi-3-medium-128k-instruct 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/Phi-3-medium-128k-instruct

引言

随着人工智能技术的不断发展，自然语言处理（NLP）模型在各个领域的应用越来越广泛。Phi-3-Medium-128K-Instruct 是一个由优快云公司开发的 InsCode AI 大模型，拥有 14B 参数，轻量级，在 Phi-3 数据集上训练而成，具有高质量和推理密集型特性。本篇文章将详细介绍 Phi-3-Medium-128K-Instruct 模型的安装与使用方法，帮助您快速上手。

安装前准备

系统和硬件要求

Phi-3-Medium-128K-Instruct 模型对运行环境有一定要求，建议您在以下配置的系统上进行安装和使用：

操作系统：Windows、macOS 或 Linux
硬件配置：CPU 至少 8 核心以上，GPU 建议使用 NVIDIA Tesla V100 或更高配置
内存：至少 32GB 以上

必备软件和依赖项

安装 Phi-3-Medium-128K-Instruct 模型前，请确保您的系统中已安装以下软件和依赖项：

Python 3.7 以上版本
PyTorch 1.8 以上版本
Transformers 4.40.2 开发版本（或更高版本）

安装步骤

下载模型资源

您可以通过以下链接下载 Phi-3-Medium-128K-Instruct 模型资源：

https://huggingface.co/microsoft/Phi-3-medium-128k-instruct

安装过程详解

下载并解压模型资源包。
将解压后的文件夹放置在您的工作目录下。
使用以下命令安装 Transformers 4.40.2 开发版本：

pip install git+https://github.com/huggingface/transformers

使用以下命令加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/Phi-3-medium-128k-instruct"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)

常见问题及解决

错误提示：找不到 Transformers 4.40.2 版本

请确保您已正确安装 Transformers 4.40.2 开发版本，您可以尝试使用以下命令安装：
```
pip install transformers==4.40.2
```
错误提示：无法加载模型

请确保您已正确下载模型资源，并且解压后的文件夹放置在您的工作目录下。同时，请检查网络连接是否正常。

基本使用方法

加载模型

在前面的安装步骤中，我们已经完成了模型的加载。您可以使用以下代码进行模型加载：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "microsoft/Phi-3-medium-128k-instruct"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id)

简单示例演示

以下是一个简单的示例，展示如何使用 Phi-3-Medium-128K-Instruct 模型生成文本：

import torch

# 设置随机种子
torch.manual_seed(0)

# 定义提示信息
prompt = "Hello, how are you today?"

# 对提示信息进行编码
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# 生成文本
output_ids = model.generate(input_ids)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)

print(output_text)

参数设置说明

Phi-3-Medium-128K-Instruct 模型支持多种参数设置，您可以参考以下代码示例进行设置：

# 设置生成文本的最大长度
max_length = 50

# 设置生成文本的温度参数
temperature = 0.7

# 设置生成文本的重复惩罚参数
repetition_penalty = 1.2

# 生成文本
output_ids = model.generate(input_ids, max_length=max_length, temperature=temperature, repetition_penalty=repetition_penalty)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)

print(output_text)