MiniCPM3-4B模型的安装与使用教程

最新推荐文章于 2025-01-18 11:01:00 发布

毕骏泓

最新推荐文章于 2025-01-18 11:01:00 发布

阅读量901

点赞数 30

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_02337/article/details/144423430

MiniCPM3-4B模型的安装与使用教程

MiniCPM3-4B 项目地址: https://gitcode.com/hf_mirrors/ai-gitcode/MiniCPM3-4B

简介

MiniCPM3-4B是MiniCPM系列的第三代模型，它在性能上超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多最新的7B~9B模型相当。相较于MiniCPM1.0/MiniCPM2.0，MiniCPM3-4B拥有更强大、更通用的功能集，支持函数调用和代码解释器，适用于更广泛的场景。本文将详细介绍MiniCPM3-4B的安装与使用方法。

安装前准备

系统和硬件要求

操作系统: Linux, Windows, macOS
CPU: 64位处理器
GPU: NVIDIA GPU（推荐，非必须）
Python版本: 3.6+

必备软件和依赖项

PyTorch: 用于模型的加载和推理
Transformers库: 用于模型的加载和推理
vLLM库: 用于模型的加载和推理（可选）

安装步骤

下载模型资源

首先，您需要从Hugging Face模型库下载MiniCPM3-4B模型资源。您可以使用以下命令进行下载：

pip install transformers

然后，您可以使用以下命令加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = "openbmb/MiniCPM3-4B"
device = "cuda"  # 如果您的系统没有GPU，请将"cuda"替换为"cpu"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

安装过程详解

安装PyTorch

首先，您需要安装PyTorch。您可以从PyTorch官方网站下载安装程序，并根据您的系统和硬件配置选择相应的版本进行安装。
安装Transformers库

您可以使用以下命令安装Transformers库：
```
pip install transformers
```
安装vLLM库（可选）

如果您想使用vLLM库进行模型的加载和推理，您可以执行以下命令进行安装：
```
pip install git+https://github.com/OpenBMB/vllm.git@minicpm3
```

常见问题及解决

错误：无法连接到模型库

请确保您的网络连接正常，并尝试重新下载模型资源。
错误：缺少依赖项

请确保您已经安装了所有必需的依赖项，包括PyTorch、Transformers库和vLLM库（可选）。

基本使用方法

加载模型

您可以使用以下代码加载MiniCPM3-4B模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

path = "openbmb/MiniCPM3-4B"
device = "cuda"  # 如果您的系统没有GPU，请将"cuda"替换为"cpu"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map=device, trust_remote_code=True)

简单示例演示

以下是一个使用MiniCPM3-4B模型的简单示例：

messages = [
    {"role": "user", "content": "推荐5个北京的景点。"},
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(device)

model_outputs = model.generate(
    model_inputs,
    max_new_tokens=1024,
    top_p=0.7,
    temperature=0.7
)

output_token_ids = [
    model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
]

responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
print(responses)