文章目录
前言
这两天头条全是deepseek的消息,其实我们一上班也开始搞这个了。不管怎么说,本地部署一番总是少不了的。
思路基本上就是:
- 英伟达GPU版本下,ollama部署蒸馏版,这个还蛮简单的,咱就不说了。
不过推理速度好像挺慢的
- 英伟达GPU版本下,ollama部署满血量化版。
网上有教程,但确实还是没成功,光下载权重下载了好几天
- 昇腾NPU下,部署蒸馏版或者满血版。没实现呢。
看到有人说昇腾部署满血版,需要四台机器,32张卡,不知道真的假的
- 云服务部署满血版。
本来想赶紧实现了,写出来,蹭一番热度,奈何多线开工,一个都没整出来。
咱今天,就先拿百度千帆大模型平台这个最简单的开开刀吧。
开始体验
百度搜索千帆,点击查看详情。