Ollama + DeepSeek + Dify私有化部署自己的AI Agent

 

前言

最近研究了一下Dify这个AI应用引擎，感觉功能还是很强大的，特别是流程编排、RAG检索、模型管理、知识库维护等，内置了各种国内外的厂商模型，可以根据自己的业务需求来选择模型进行处理，而且模型可以借助Ollama来私有化部署。与其对等的产品还有FastGPT，字节的Coze，不过目前开源的只有Dify和FastGPT，下面来介绍一下Ollama和Dify怎么私有化部署到自己的电脑或服务器吧。提示：如果想要私有化部署的，首先要保证自己的电脑或服务器的硬件资源跟得上，具体配置推荐可以参考一下表格

模型版本	CPU	内存	GPU	显卡推荐
1.5B	4核+	8GB+	非必需 4GB+	RTX1650 RTX2060
7B、8B	8核+	16GB+	8GB+	RTX3070 RTX4060
14B	12核+	32GB+	16GB+	RTX4090 RTX5080
32B	16核+	64GB+	24GB+	A100 40GB
70B	32核+	128GB+	多卡	2×A100 80GB
671B	64核+	512GB+	多卡	8×A100/H100

声明：以上配置仅供参考

02

安装Ollama

（1）下载Ollama

进入https://ollama.com/，选择Download