DeepSeek 本地部署+API调用

       最近DeepSeek确实太火了,公司为了跟进AI趋势,也随波逐流得要用deepseek搭建AI知识问答,以前搭建得Langchain-Chatchat不仅繁琐,而且在知识库问答方面效果也是不怎么好,还需要具备编程的能力,对于我这样得新手来说简直困难重重(~抹眼泪~)

       DeepSeek在本地部署方面流程相对于简单了很多,只要电脑配置可以,新手按步骤一步一步也可以搭建成功。在基础问答和知识库问答方面感觉有提升。现在我就根据自己在本地搭建得步骤,一步步手摸手得方式按自己理解将在本地搭建得过程记录下来,如有遗漏或不足得地方,请大家谅解,毕竟我也是个新手。

     请系好安全带,发车喽!!!

     1、检查电脑配置

      在搭建前,先检查自己电脑满不满足最低配置要求,因为要适配电脑合适得模型才能跑起来流畅。如果自己电脑满足。那就到云服务去租台服务器。现在市面上得云服务厂商都能找到自己合适得服务器。

     打开任务管理器:

    方式1:在任务栏中输入:将鼠标放在底部任务栏区域,右键出现“任务管理器”,点击打开。

    方式2:win系统搜索:直接在《开始》里搜索:任务管理器

    方式3:同时按住:Ctrl + Alt + Del三键选择打开任务管理器


    左侧导航栏选择“性能”——“GPU”    确认显存大小:专用GPU内存

    

    如果用得NVIDIA显卡,可以在CMD窗口上输入:nvidia-smi    查看GPU版本和显存信息

    

根据显卡对应匹配的模型(根据显卡对应哪个模型)

模型名称:DeepSeek-R1-Distill-Qwen-1.5B   显卡6G显存以下运行

下载运行命令:ollama run deepseek-r1:1.5b

模型名称:DeepSeek-R1-Distill-Qwen-7B      显卡8G显存以上(最多)

下载运行命令: ollama run de

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值