本地量化模型管理器ollama

问题

想要在本地安装LLM量化模型，我主要是想了解一下LLM的私有化部署，这个ollama比较适合，在本地使用量化后的压缩模型。在本地安装好量化压缩模型，这样就可以在本地简单调用本地模型，本地体验体验了。

安装ollama

打开ollama官网https://ollama.com/，下载安装ollama客户端。

下载安装运行deepseek-r1量化版本14b

运行ollama

可以使用命令行或图形方式运行ollama服务端，命令行如下：

ollama serve

如果是图形化界面话，直接打开ollama应用程序即可。

一键下载安装运行r1量化版本14b

ollama run deepseek-r1:14b

测试

输入如下问题：

帮我制定一个2天2晚的岳阳旅游攻略

然后，它生成的回答如下：

总结

感觉本地r1量化版本14b感觉还行。我为什么选择14b，而不是其他版本。这与我的笔记本的内存大小有关，这台m1 pro的内存是16G，而查询了ollama上面r1的各个版本需要的加载的模型大小，14b是这台笔记本能运行最大的r1量化模型了。如下图：

14b大小是9GB多，这台m1 pro内存16G，还是能运行14b的。但是32b就不太行了，32b大小是20GB，远超16G了。
这种量化模型，对开发调试，应用集成还是挺方便的。能开源出来我们用是真的良心。

参考

• ollama官网