【DeepSeek+Ollama+AnythingLLM】搭建【知识库】

1. ollama
2. deepseek
3. chatbox（可选）
4. anythingLLM

1. Ollama安装

• 官网下载安装 ： https://ollama.com/download
  
• 验证ollama安装是否成功： 【win+r】【cmd】命令行下输入 ollama -v
  
• 上图则表示安装成功

2. 通过Ollama安装deepseek

• ollama官网选择模型：https://ollama.com/search（比如我选deepseek-r1）
  
• 然后从deepseek-r1中选择指定版本的模型并复制（比如我选择1.5b）
  
• 复制的内容为（ollama run deepseek-r1:1.5b）
• 【win+r】【cmd】命令行下输入复制的内容进行安装
  
• 出现上图则为安装成功了，可以直接进行对话了
• （退出后可在命令行下执行ollama list，获取大模型的名字）
  
• 模型选择需要根据自己电脑配置下载（内存、GPU）
  • Ctrl + shift + esc 快捷打开任务管理，找到自己电脑的配置信息
    
  • 运行内存：
    
  • 专用显存（用专用显存来匹配模型）
    
  • 问DeepSeek，让他帮我们选择模型

    我正在使用ollama部署deepseek-r1模型，
    但模型分为1.5b、7b、8b、14b、32b、70b、671b等，
    我不知道该怎么选择适合我电脑配置模型了，
    我现在把我电脑的配置信息告诉你，你帮我选择一下吧。
    个人电脑信息如下：
    系统：windows 11
    运行内存：32G
    专用GPU显存：8G
    共享GPU内存：16G
    

3. 界面化对话方式：chatBox（可选）

• 官网：https://chatboxai.app/zh
  
• 有上图两种方式使用chatBox，以网页版为例
• 设置环境变量：
  • OLLAMA_HOST 0.0.0.0
  • OLLAMA_ORIGINS *
    
• 网页设置
  
• 设置完成后便可直接使用了
  

4. AnythingLLM安装

• 官网下载：https://anythingllm.com/desktop
  
• 打开AnythingLLM软件：运行anythingLLM.exe
• 进行如下设置：选择ollama，选择大模型比如deepseek
  
• 新建工作区
  
• 上传私域文件
  
• 将私域文件移到工作区
  
• 将工作区的文件嵌入向量保存到向量数据库
  
• 选择指定的文件
  
• 后续对话时，大模型便会从私域文本中查找相关的上下文并返回了

参考

1. https://www.bilibili.com/video/BV1QyFoeuE3e/?spm_id_from=333.1387.homepage.video_card.click
2. https://www.bilibili.com/video/BV1QyFoeuE3e/?spm_id_from=333.1387.upload.video_card.click
3. https://blog.youkuaiyun.com/m0_65555479/article/details/145389847