利用OpenVINO™高效推理MiniCPM4系列模型

模型介绍    

面壁智能正式发布端侧MiniCPM 4.0 模型，实现了端侧可落地的系统级软硬件稀疏化的高效创新。

面壁推出的MiniCPM 4.0系列LLM模型拥有 8B 、0.5B 两种参数规模，针对单一架构难以兼顾长、短文本不同场景的技术难题，MiniCPM 4.0-8B 采用「高效双频换挡」机制，能够根据任务特征自动切换注意力模式：在处理高难度的长文本、深度思考任务时，启用稀疏注意力以降低计算复杂度，在短文本场景下切换至稠密注意力以确保精度，实现了长、短文本切换的高效响应。

本文将介绍如何利用openvino-genai工具在本地部署MiniCPM 4.0系列模型。

内容列表

• 环境准备

• 模型下载和转换

• 模型部署

第一步，环境准备

基于以下命令可以完成模型部署任务在Python上的环境安装。

python -m venv py_venv./py_venv/Scripts/activate.batpip install --pre -U openvino-genai --extra-index-urlhttps://storage.openvinotoolkit.org/simple/wheels/nightlypip install nncfpip install git+https://github.com/huggingface/optimum-intel.git 
python -m venv py_venv./py_venv/Scripts/activate.batpip install --pre -U openvino-genai --extra-index-urlhttps://storage.openvinotoolkit.org/simple/wheels/nightlypip install nncfpip install git+https://gi