DeepSeek本地部署实战:Ollama避坑指南,别被一键部署误导!

最近最火的莫过于DeepSeek,现在网上关于 AI 模型部署的文章一抓一大把,动不动就是 “一键部署,轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。可现实是,当你真上手用 Ollama 搭建 DeepSeek 模型时,那简直就是踩坑大冒险!今天咱就来好好唠唠那些坑,帮你顺利搭建属于自己的 DeepSeek。

Ollama 是什么

Ollama 则是咱们搭建模型的得力助手,它就像是一个智能的建筑工人,能够帮助我们快速、轻松地部署各种大型语言模型。使用 Ollama,我们不需要掌握复杂的技术知识,只需要几个简单的命令,就能让模型在本地运行起来。它还提供了简洁易用的界面,让我们可以方便地与模型进行交互,就像和朋友聊天一样自然。

不同模型版本对应的需求

以下是显存需求的大致参照表:

图片

通过此表,可以帮助您快速选择适合自己需求的 DeepSeek版本。

Ollama 安装和配置详细步骤

安装前准备

在安装 Ollama 之前,要确保你的系统满足基本要求。通常,Ollama 支持主流的操作系统,如 Linux、macOS 和 Windows。至少有 32GB 的内存和足够的存储空间。我使用的是Ubuntu服务器,32核,64G内存,P100(计算卡)。

同时,要保证系统已经安装了必要的依赖,比如在 Linux 系统上可能需要安装一些基础的开发工具包。

Step 1:安装 Ollama

在 Linux 系统上安装 Ollama 相对简单。打开终端,输入以下命令:

curl https://ollama.com/install.sh | sh

这个命令会从 Ollama 的官方服务器下载安装脚本并执行。

遇到的第一个坑

正常情况下通过上面的步骤就能安装成功,然而,在安装之际,网络状况却成了 “绊脚石”,致使 Ollama 的下载进度特别慢,甚至会弹出了 “Error: pull model manifest” 的问题提示,这无疑是雪上加霜,让原本就不顺利的安装过程变得更加艰难。不过别慌,解决办法这就奉上:

1、下载ollama_install.sh并保存

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

2、使用github文件加速替换github下载地址

sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh

3、替换后增加可执行权限

chmod +x ollama_install.sh

4、执行sh下载安装

sh ollama_install.sh

安装完成后,你可以通过以下命令验证是否安装成功:

ollama --version

如果能正确显示 Ollama 的版本信息,说明安装成功。

图片

Step 2:启动模型

输入以下命令来启动模型:

ollama run deepseek-r1:14b

这一步整体还算顺利,没什么大毛病。唯一小闹心的就是初次下载时,速度就像老黄牛拉车,磨磨蹭蹭的。但别着急,只要下载成功,后续就能顺顺当当的。要是下载失败了也别气馁,就多试那么几次,说不定哪一回就成啦。

图片

当你看到终端输出一些信息后,就说明模型已经成功启动啦!这时候,你就可以和 DeepSeek开始聊天啦。

Step 3:安装chatbox

cmd 黑窗口用起来实在是太憋屈啦,有没有带 UI 界面的,用起来能更顺手些。要说和 Ollama 搭配使用,体验感拉满的 UI 界面,首推 Ollama 官方的 docs.openwebui.com 。要是你对 Docker 部署轻车熟路,或者懂点代码,那完全可以参考相关教程手动安装,感受一把技术操作的乐趣。

如果你就想简单点,下载个客户端,用鼠标点点就能轻松上手,那选 chatbox 就对啦。安装方式跟装其他软件没啥两样,双击运行安装程序就行,超省心。点击这个链接 chatboxai.app/zh 就能下载,快去试试吧!

遇到的第二个坑

在服务器上成功安装 Ollama 并启动 DeepSeek 之后,我们遇到了第二个问题。通过本地命令行可以正常调用接口,但当尝试从外部电脑访问服务器上的 DeepSeek 接口时,始终无法成功。

查阅官方文档后发现,要实现外网访问,需要对 Ollama 进行配置修改,使其监听地址为 0.0.0.0 并修改端口。具体步骤如下:

第一步:修改文件

vim /etc/systemd/system/ollama.service

第二步:增加配置

[Service]``Environment="OLLAMA_HOST=0.0.0.0:11434"

第三步:重新加载

sudo systemctl daemon-reload``sudo systemctl restart ollama``sudo systemctl status ollama

配置完之后,在浏览器中访问http://服务器IP:11434/ ,返回“Ollama is running”。说明配置成功了。接下来在chatbox 中设置Ollama 的地址即可。

通过以上几步,我们就可以使用Ollama 在本地部署DeepSeek大模型了。
最后

虽然搭建过程中充满了各种坑,但当我最终成功部署好 DeepSeek 模型,看到它正常运行并给出准确回答时,那种成就感简直无法言喻。就像历经千辛万苦终于登上了山顶,看到了美丽的风景。

在这里插入图片描述

如何学习AI大模型?

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获:👈

• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值