利用OpenVINO™ Day0快速部署端侧可用的MiniCPM-V4.0视觉大模型

MiniCPM-V4.0是MiniCPM-V系列中最新的高效模型，参数总量为4B。该模型在 OpenCompass评测中图像理解能力超越了GPT-4.1-mini-20250414、Qwen2.5-VL-3B-Instruct和InternVL2.5-8B。凭借小巧的参数规模和高效的架构，MiniCPM-V4.0是移动端部署的理想选择。

OpenVINO™作为一个跨平台的深度学习模型部署工具，可以极大优化大语言的模型的推理性能，在充分激活硬件算力同时，降低对于内存资源的占用。本文将介绍如何利用OpenVINO™工具套件在本地部署MiniCPM-V4.0模型。

内容列表

1. 环境准备

2. 模型下载和转换

3. 模型部署

第一步，环境准备

通过以下命令可以搭建基于Python的模型部署环境。

python -m venv py_venv ./py_venv/Scripts/activate.bat pip install -q "torch>=2.1" "torchvision" "timm>=0.9.2" "transformers>=4.45" "Pillow" "gradio>=4.40" "tqdm" "sentencepiece" "peft" "huggingface-hub>=0.24.0" --extra-index-url https://download.pytorch.org/whl/cpupip install -q "nncf>=2.14.0"pip install -q "git+https://github.com/openvino-dev-samples/optimum-intel.git@minicpm4v" --extra-index-url https://download.pytorch.org/whl/cpupip install -q "git+https://github.com/openvino-dev-samples/optimum.git@minicpm4v" --extra-index-url https://download.pytorch.org/whl/cpupip install -q -U --pre "openvino>=2025.0" "openvino-tokenizers>=2025.0"&nbs