deepseek本地集群部署调研
硬件要求
大致显卡需求:运行 7B 机型至少需要 8GB 内存,运行 13B 机型至少需要 16GB 内存,运行 33B 机型至少需要 32GB 内存。


技术
Ollama
项目地址:https://github.com/ollama/ollama

vLLM
项目地址:https://github.com/vllm-project/vllm
openwebui
大模型对话界面

项目地址:https://github.com/open-webui/open-webui