1 显卡安装
如果没有显卡,可以跳过此步。
有显卡安装网上教程安装GPU的显卡驱动和CUDA。
验证CUDA安装成功:
nvcc -V
2 ollama安装
https://ollama.com/ollama
ollama 安装:
curl -fsSL https://ollama.com/install.sh | sh
验证ollama安装成功:
ollama -v
3 deepseek安装
https://ollama.com/library/deepseek-r1
以安装deepseek-r1:1.5 为例:
ollama run deepseek-r1:1.5b
4 AnythingLLM安装
用于搭建大模型的聊天窗口和部署自己的私有知识库
有desktop版本和docker版本,根据自己的需求来选择即可。
https://docs.useanything.com/
5 私有知识库
上传自己的私有知识库文档并向量化