平民(屌丝)如何在windows环境下如何利用核显部署deepseek r1

我也来蹭一波热度,尝试本地部署deepseek r1 模型,手上只有一台12代i5的核显笔记本

升级到最新的显卡驱动

去英特尔官方网站下载最新的显卡驱驱动:

https://www.intel.com/content/www/us/en/download/785597/intel-arc-iris-xe-graphics-windows.html

安装并重启

在 Intel GPU 上使用 IPEX-LLM 运行 Ollama

参照下面这个文档即可:

https://github.com/intel/ipex-llm/blob/main/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md
服务启动后是这个样子

安装 IPEX-LLM、建立文件夹、初始化

conda create -n llm-cpp python=3.11
conda activate llm-cpp
pip install --pre --upgrade ipex-llm[cpp]
init-llama-cpp.bat
#设置环境变量
set SYCL_CACHE_PERSISTENT=1
rem under most circumstances, the following environment variable may improve performance, but sometimes this may also cause performance degradation
set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

初始化 Ollama

conda activate llm-cpp
init-ollama.bat

运行ollama

set OLLAMA_NUM_GPU=999
set no_proxy=localhost,127.0.0.1
set ZES_ENABLE_SYSMAN=1
set SYCL_CACHE_PERSISTENT=1
rem under most circumstances, the following environment variable may improve performance, but sometimes this may also cause performance degradation
set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

ollama serve

启动后如下:
在这里插入图片描述

拉取deepseek r1 模型

之前去ollama官网 即可,排名第一的就是:

在这里插入图片描述
此处需要新开个conda窗口,激活环境
我们拉一个7.5b的试试

conda activate llm
ollama run deepseek-r1:7b

拉取完成后长这样
在这里插入图片描述

验证deepseek r1模型

直接对对话框中输入文字即可,有木有到GPU直接拉满了
在这里插入图片描述

参考资料

https://www.toutiao.com/article/7429939444603470348/?wid=1739259029486
https://github.com/intel/ipex-llm/blob/main/README.zh-CN.md

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

贤时间

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值