目前DeepSeek在2025年春节期间火遍了大江南北,也火遍了东西半球。我反应的稍微慢一点,等大家都推荐后,才开始品尝。先是用了Web版,感觉挺好用的。但是在1月底的时候出现较多的卡死状态,以及服务器繁忙的问题。因为其开源,于是本地化部署就是自然的解决方案。于是Ollama+DeepSeek的本地化部署为首选。网络上有大把具体方案实施的介绍,这里就不重复了。别人都写的比我好。
由于Ollama+【各模型】的方式,虽然简单,但主要是基于命令行的交互方式。对于成长于Windows环境的大家来说,还是不太友好。于是可以参考我这里介绍的两种方式:
一、AnythingLLM:
AnythingLLM 是一个全栈应用程序,您可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有 ChatGPT,无需任何妥协,您可以在本地运行,也可以远程托管并能够智能聊天以及您提供的任何文件。
根据您的操作系统和环境,选择合适的安装版本安装。这个安装基本上不会有什么问题。使用上不做太复杂的设置,也不会有任何问题。具体可以参考对应的说明文档。
二、Open-WebUI:
Open-WebUI,网上介绍的资料也不少。不过我参考原始的文档在windows系统上安装后执行"docker run..."指令后遇到了获取大模型失败的问题。没法访问前面提到安装的Ollama服务,查询已经在本地下载成功的大模型列表失败;经过仔细搜网网页查询原因,总算是知道Docker的IP地址与安装Docker软件机器