Qwen2.5环境搭建&推理测试

引子

2024年9月19号，阿里推出Qwen2.5全家桶，各种尺寸的都有。9月29日消息，基准测试平台Chatbot Arena日前公布最新大模型盲测榜单，10天前发布的阿里通义千问开源模型Qwen2.5再次闯入全球十强，其大语言模型Qwen2.5-72B-Instruct排名LLM榜单第十，是前十唯一的中国大模型；Qwen系列视觉语言模型Qwen2-VL-72B-Instruct排名Vision榜单第九，是得分最高的开源大模型。这次这种全尺寸的，我们要选就选一个最小的吧，0.5B的，OK，那就让我们开始吧。

一、模型介绍

Qwen2.5是Qwen大型语言模型系列的最新成果。对于Qwen2.5，我们发布了从0.5到720亿参数不等的基础语言模型及指令调优语言模型。Qwen2.5相比Qwen2带来了以下改进：

1、显著增加的知识量，在编程与数学领域的能力有了极大提升，这得益于我们在这些领域的专业专家模型。

2、在遵循指令、生成长文本（超过8K个token）、理解结构化数据（如表格）及生成特别是JSON格式的结构化输出方面有显著提升。对系统提示的多样性更具韧性，增强了聊天机器人的角色扮演实现和条件设定功能。

3、支持长上下文，最多可达128K个token，并能生成最多8K个token的文本。

4、支持超过29种语言的多语言能力，包括中文、英语、法语、西班牙语、葡萄牙语、德语、意大利语、俄语、日语、韩语、越南语、泰语、阿拉伯语等。

二、环境搭建

1、模型下载

魔搭社区

2、代码下载

git clone GitHub - QwenLM/Qwen2.5: Qwen2.5 is the large language model series developed by Qwen team, Alibaba Cloud.

2、环境安装

docker run -it --rm --gpus=all -v /datas/work/zzq:/workspace pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash

pip install transformers==4.37.0 -i Simple Index

pip install accelerate==0.26.0 -i Simple Index

pip install auto-gptq -i Simple Index

pip install optimum -i Simple Index

三、推理测试

cd /workspace/Qwen2.5/Qwen2.5-main/examples/demo

python cli_demo.py