【Windows 本地化部署 deepseek-vl-1.3b-chat】

机器配置

操作系统：Windows 10 专业版 x64
处理器：Intel® Core™ i5-10210U CPU @ 1.60GHz 2.11 GHz
机带RAM：16.0 GB

环境准备

1、安装python，版本要求必须大于3.8，我这里是 3.12.5 ，去官网直接下，安装步骤记得勾选添加环境变量。
2、安装git
3、DeepSeek-VL-1.3b-chat 是基于 DeepSeek-VL-1.3b-base 的指令版本。所以直接先下载再说！打开命令行工具，执行如下命令添加必要的依赖

git clone https://github.com/deepseek-ai/DeepSeek-VL
cd DeepSeek-VL
pip install -e . -i https://mirrors.aliyun.com/pypi/simple/

Ps:官方镜像源，简直坑爹的慢，所以这里要指定阿里镜像源。或者永久替换成阿里镜像源（可选）。操作如下：在 Windows 系统中，配置文件位于 %APPDATA%\pip\pip.ini（如果该文件不存在，可以手动创建）。在文件中添加以下内容：

[global]
index-url = https://mirrors.aliyun.com/pypi/simple/

4、下载模型文件
请确保 lfs 已经被正确安装

git lfs install

下载模型(下载到当前目录，或者切换到指定的目录去执行)

git clone https://www.modelscope.cn/deepseek-ai/deepseek-vl-1.3b-chat.git

执行样例

1、好了伙计们这里就基本部署好了，接下来可以跑下DeepSeek-VL中的样例了。
注意：DeepSeek-VL中的样例默认是通过GPU去处理推理过程，如果你电脑自带GPU，可以忽略这一步。
但是贫穷的我，显然笔记本不带GPU。。。，那么就得改成由CPU处理。
打开 DeepSeek-VL\deepseek_vl\utils\io.py 文件，将第 39 行代码：

vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()

改为：

vl_gpt = vl_gpt.to(torch.bfloat16).cpu().eval()

打开 DeepSeek-VL\cli_chat.py 文件，将第112行代码：

torch.cuda.empty_cache()

改为：

torch.cpu.empty_cache()

2、最后咱们再来跑下样例
切换到样例代码目录

cd DeepSeek-VL

执行样例，model_path 参数值指向下好的模型deepseek-vl-1.3b-chat

python cli_chat.py --model_path "E:/deepSeekModel/deepseek-vl-1.3b-chat"

稍等一会，看到如下信息就可以测试了

DeepSeek-VL-1.3b-chat 是一个小规模的视觉-语言模型。顾名思义，图像识别、文字处理，都可以。那么咱们来简单问个问题吧！

最后 求个闪电三连。

常见异常解决办法

如下命令都走一遍，基本都能解决。
1、旧版本的 pip 可能存在兼容性问题，导致无法正确识别可用的 torch 版本。可以使用以下命令更新 pip。

python -m pip install --upgrade pip

2、torch 对 Python 版本有一定要求，确保你使用的 Python 版本在 torch 支持的范围内。安装适合的版本。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

3、NumPy 版本兼容性问题
为了支持 NumPy 1.x 和 2.x 版本，模块必须使用 NumPy 2.0 编译。
将 NumPy 降级到 2.0 以下的版本。可以使用以下命令：

pip install "numpy<2"

4、transformers 库在加载模型配置时出现错误。transformers 无法识别 multi_modality 模型类型错误

pip install --upgrade transformers