本地部署的ollama模型体验心得体会_ollama模型测评-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_61797149/article/details/145732712

1、前言

涅小槃也是因DeepSeek的爆火，便兴致勃勃的参与AI模型使用与探索之中，其中ollama的本地部署至今已使用近一个月。下面我想说说自己的感受：

2、近期deepseek快速发展

从Deepseek出世至今，市面上已经有不少关于它的衍生品和二次创作的事物，想必大家同我一样用过深度求索公司的Deepseek官方软件，由于访问量巨大，常常是出现“服务器异常”的现象。从而，超算的DeepSeek (scnet.cn)和红衣大叔周鸿祎的"纳米ai"app，便提供了deepseek的搜索服务等。（因为Deepseek是开源的，所以大家都在使用，或是API或是本地使用）因为使用的比较早，所以选择了ollama本地部署。Ollama 是 Meta 推出的开源大语言模型，支持多轮对话功能，适合 NLP 等复杂任务。

3、本地部署心得

在Ollama官网上有很多模型，不同用途不同方向（首先映入眼帘的就是我们的万众瞩目——“deepseek”）：

涅小槃在这里就不进行本地部署安装过程了，网上有太多而且详细优秀的例子。不过有几点需要大家注意：

本地部署模型运行肯定要和自己主机性能挂钩，根据需求选择

例如，你使用的是本地推理工具（如 Meta 的 Llama-inference），可能需要至少8 核 CPU 或以上以满足多线程运行的需求。

由于使用方面不同，选择就有所不同（Deepseek更适合中国宝宝的对话方式）

特性 Llama 3.2 DeepSeek-R1
语言支持 通用语言（包括中文）以中文为主，支持多语言
模型大小 7B 或 13B 7B
性能复杂任务表现更强中文任务表现更优
资源需求 10-25GB 内存（取决于规模） 10-15GB 内存
适用场景 通用任务（对话、生成）中文任务（问答、摘要）

OpenwebUI界面使用模型，可根据自身尝试

本地部署采用的一直是cmd命令格式化窗口，而且只能进行文本问题交流，图片、文件等模式都没有，在下也做过不同的的尝试，其中就包括OpenwebUI，使用的是Docker软件。但是它默认是下载C盘的，又不得不花费时间进行迁移，终于也是成功了。尝试了上传图片进行解析还有文档内容总结等，只能说还可以。

（在这里我想说，感兴趣可以尝试。毕竟市面上不少支持上传或是生成文件图片的免费ai，都不是浪得虚名滴！都很优秀）

特性	Llama 3.2	DeepSeek-R1
语言支持	通用语言（包括中文）	以中文为主，支持多语言
模型大小	7B 或 13B	7B
性能	复杂任务表现更强	中文任务表现更优
资源需求	10-25GB 内存（取决于规模）	10-15GB 内存
适用场景	通用任务（对话、生成）	中文任务（问答、摘要）

4、使用过的模型简单对比

deepseek-r1:7b（4.7 GB）、deepseek-coder-v2(8.9 GB)、codellama:7b(3.8 GB)等等

模型名称	模型大小	模型特点	应用场景
deepseek-r1:7b（4.7GB）	4.7GB	由深度求索（DeepSeek）开发，70 亿可训练参数，采用改进型 Transformer 架构，优化注意力机制，将标准的多头注意力（MHA）改造为分组查询注意力（GQA），在 KV 缓存环节实现 35% 的内存节省；经过三阶段渐进式学习，包括通用语料预训练、指令精调、强化学习	可用于金融风控领域信贷报告自动生成，通过微调历史信贷报告，学会提取关键财务指标并生成评估意见；也可用于智能制造领域设备维修知识库构建，解析维修工单生成标准化维修指南
deepseek-coder-v2(8.9GB)	8.9GB	开源的混合专家代码语言模型，参数为 157 亿，在特定代码任务上性能与 gpt 4 - turbo 相当，采用 q4_0 量化方式	适用于代码相关任务，如代码生成、代码补全等场景
codellama:7b(3.8GB)	3.8GB	是基于 Llama 架构开发的模型，具有 70 亿参数，专注于代码生成，在代码理解和生成能力上表现不错，支持多种编程语言	主要用于代码开发场景，帮助开发者进行代码编写、函数定义、代码纠错等