本地搭建DeepSeek环境

目前DeepSeek在2025年春节期间火遍了大江南北,也火遍了东西半球。我反应的稍微慢一点,等大家都推荐后,才开始品尝。先是用了Web版,感觉挺好用的。但是在1月底的时候出现较多的卡死状态,以及服务器繁忙的问题。因为其开源,于是本地化部署就是自然的解决方案。于是Ollama+DeepSeek的本地化部署为首选。网络上有大把具体方案实施的介绍,这里就不重复了。别人都写的比我好。

由于Ollama+【各模型】的方式,虽然简单,但主要是基于命令行的交互方式。对于成长于Windows环境的大家来说,还是不太友好。于是可以参考我这里介绍的两种方式:

一、AnythingLLM:

AnythingLLM 是一个全栈应用程序,您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT,无需任何妥协,您可以在本地运行,也可以远程托管并能够智能聊天以及您提供的任何文件。

https://anythingllm.com/

根据您的操作系统和环境,选择合适的安装版本安装。这个安装基本上不会有什么问题。使用上不做太复杂的设置,也不会有任何问题。具体可以参考对应的说明文档。

二、Open-WebUI:

Open-WebUI,网上介绍的资料也不少。不过我参考原始的文档在windows系统上安装后执行"docker run..."指令后遇到了获取大模型失败的问题。没法访问前面提到安装的Ollama服务,查询已经在本地下载成功的大模型列表失败;经过仔细搜网网页查询原因,总算是知道Docker的IP地址与安装Docker软件机器

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值