由于deepseek 官网或者Aapi 调用会有网络延迟或不响应的情况,故在本地搭建部署;
前提条件
1.由于需要拉取开源镜像,受网络限制,部分资源在 vpn 前提中会下载的更快!请自行翻墙;
2.设备 macbook M1 32G
下载ollama
Ollama 是一款跨平台推理框架客户端(MacOS、Windows、Linux),专为无缝部署大型语言模型(LLM)(如 Llama 2、Mistral、Llava 等)而设计。通过一键式设置,Ollama 可以在本地运行 LLM,将所有交互数据保存在自己的机器上,从而提高数据的私密性和安全性。
访问 Ollama 网站下载 ollama AI工具;
或者 mac 终端执行: brew install --cask ollama
检查 ollama -v 出现版本即可;
下载交互客户端 chatbox AI
通过以下地址下载: