目录
DeepSeek的高性价比策略降低了AI部署的门槛,使得更多企业能够将AI技术应用于边缘计算场景。并且随着算力部署成本的降低,以前不少集中在大型中心的算力需求,有望向更多的小型设备、边缘设备集中,这是因为,DeepSeek的轻量化模型能够适应从高端服务器到普通消费级设备的多种场景。这意味着,边缘计算设备,如智能网联设备、工业质检设备、智慧交通设备等,将能够更好地支持AI应用。在部署前,我们首先要了解不同规模的deepseek对硬件的要求:
下面我们以1.5B为例,介绍如何在本地进行部署。
1.Ollama安装
Ollama是一款开源的、用于本地部署和运行大型语言模型的工具。可在 macOS、Windows、Linux以及Docker环境中使用,能满足不同用户的系统需求,覆盖了主流的操作系统。
1).打开Ollama官网:https://ollama.com/
2).点击下载
3).选择自己电脑的操作系统类型,然后下载,我这里是windows
4).Ollama安装
打开控制台,win+R,cmd,输入ollama,如图所示:
说明安装成功。
或者可以在浏览器中进行验证:
说明安装成功。
2.安装deepseek-R1
在Ollama官网https://ollama.com/中,打开model
先部署最小的1.5b:
复制上面的安装指令到指令窗口:
安装后,做检测:
可以看到安装成功。
3.安装chatboxai
Chatbox AI是一款功能强大的AI客户端应用和智能助手。支持Windows、MacOS、Android、iOS、Linux和网页版,方便用户在不同设备和系统上使用,随时随地享受智能服务。可连接多种先进的AI模型和API,用户能根据不同需求切换,如GPT-4、Claude 3等,以满足多样化应用场景,无论是日常聊天、专业知识问答还是创意写作等都能应对。能处理文档、图片、代码等多种文件类型。对于PDF扫描件、手写文件也能理解内容并提供智能响应,可用于提取文档关键信息、分析图片内容、审查和优化代码等。
打开网址:https://chatboxai.app/zh
安装之后,做如下的配置:
做如下的设置:
检测是否成功:
至此,安装完毕。
本文转载至博主的公众号文章: