超详细Windows本地使用最火爆的DeepSeek-R1服务

    最近DeepSeek-R1又爆火了,今天来教大家把DeepSeek - R1装进本地电脑,不用花钱也能使用最火大模型,实现不联网就能随时和AI互动,写文案、聊天、做翻译都不在话下,学生党和上班族都很适用。

    首先,我们本地电脑需要有ollama服务,如果没有安装的朋友们,可以参考我另一篇博文,亲测在Windows系统安装、使用、定制Ollama服务,里面有详细介绍怎么安装、配置和使用ollama服务。

   有了Ollama服务,我们就可以开始正式配置DeepSeek-R1

    一、下载DeepSeek R1模型

      我们可以去Ollama官网 Ollama,查找DeepSeek R1,这里可以看到,我还没输入搜索名称,第一位已经列出了DeepSeek R1,可见其火爆程度

我们选择DeepSeek R1,deepseek-r1,进入模型详情页,可以看到各个参数的deepseek-r1模型,

我们选择自己电脑配置合适的,我的电脑是32G内存,8G的4060移动端显卡,理论上是可以运行14B参数的模型的,但是我估计响应体验不会太好,而且我本地还有其他服务在运行,所以就选择7B参数了,默认也是下载7B参数的模型的,我们复制页面上给出的ollama执行命令,即可安装运行模型了

ollama run deepseek-r1

其它参数模型可参考下面14B参数模型的命令

ollama run deepseek - r1:14b

复制好命令,我们在本地Windows环境电脑打开一个powershell命令窗口,把刚才复制命令粘贴进去执行

快慢取决于自己电脑的网速,等待模型下载完成,我只用了大概10分钟左右就下载完了

看到成功就说明模型下载好了

二、使用DeepSeek R1模型

下载好了模型,接下来开始使用模型,我们照例使用Dify平台来调用DeepSeek R1,关于Dify平台的介绍和安装也可以参考我的博文 亲测:windows系统本地Docker部署LLM应用开发平台dify+实战详细教程

我们打开Dify平台地址,打开右上角的设置

可以看到我已经配置的一些本地模型,我们点击添加模型按钮,填入ollama对应的模型名称deepseek-r1,和ollama本地运行的URL地址

如果保存成功,说明可以访问到本地的deepseek-r1模型了。

开始测试Dify平台调用deepseek-r1模型的整个流程,我们创建一个简单的聊天会话空白应用

进入应用编排界面,我们点击红框的位置,选择我们刚下载和在Dify设置中配好的deepseek-r1模型

接下来,可以在编排界面的右侧调试应用

看来r1没犯糊涂,我们发布应用再测试一下

 不知道为什么在dify创建的应用回答了2遍,我在powershell交互提问就回答了一次,不过包含部分英文内容

接下来就可以愉快的使用最火爆的deepseek-r1模型,继续AI之旅啦!!!

今天的大模型介绍就到这里了,感谢能看到这里的朋友😉

        本次的分享就到这里,【终极量化数据】致力于为大家分享技术干货😎

        如果以上过程中出现了任何的纰漏错误,烦请大佬们指正😅

        受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

        也可以搜索关注我的微信公众号【终极量化数据】,留言交流🙏

要在Windows 10上使用KTransformers部署DeepSeek-R1模型,你需要按照以下几个详细步骤操作: ### 环境准备 1. **安装Python** 首先需要确保系统已安装了 Python 3.x 版本。可以从[官方网址](https://www.python.org/downloads/)下载并安装新版本。 2. **设置虚拟环境 (推荐)** 使用 `venv` 或者 `conda` 创建一个新的虚拟环境,避免影响其他项目的依赖项。 ```bash python -m venv myenv source myenv/bin/activate # Windows下为: myenv\Scripts\activate.bat ``` 3. **安装必要的库** 安装 KTransformers 及其依赖项以及其他所需的包: ```bash pip install ktransformers deepspeed transformers torch datasets accelerate ``` 4. **获取 DeepSeek-R1 模型文件** 下载或克隆包含预训练好的 DeepSeek-R1 的仓库到本地机器,并进入该项目目录。 5. **配置GPU支持(如果有的话)** 如果你有 NVIDIA GPU 和相应的驱动程序,则可以进一步优化性能,通过安装 CUDA Toolkit 来利用 GPU 加速计算任务。 6. **调整超参数及配置文件** 根据项目文档修改相关的 JSON/YAML 文件以适应你的硬件条件和其他需求。 7. **启动服务端口** 8. **测试API接口是否正常工作** 9. **开始推理和服务化部署** 你可以参考下面的例子代码片段来进行实际应用: ```python from ktransformers import pipeline # Load the model and tokenizer for inference. model_name = "path/to/deepseek-r1" nlp = pipeline("question-answering", model=model_name) result = nlp({ 'context': "这是上下文", 'question': "这是问题?" }) print(result) ``` 上述过程假定读者已经熟悉基本命令行工具、文本编辑以及 Git/GitHub的基本用法;同时也假设读者具备一定的自然语言处理背景知识。 --
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

终极量化数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值