解决本地部署deepseek1.5b、7b等模型续写、乱说、无法正常对话问题

问题:我们在本地部署deepseek大模型时 有ollama run 启动后会出现提问续写,或者回答不符合期待的情况如下图:
续写问题
胡言乱语
解决办法:
在和下载的gguf模型同目录下的Modelfile文件内加入以下内容

SYSTEM """
你是一个严谨的AI助手,必须用中文回答问题
对话必须遵循格式:
User: [用户输入]
Assistant: [你的回答]
"""
TEMPLATE """{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
User: {{ .Prompt }}<|end|>
<|assistant|>
Assistant:{{ end }}"""

如下:
插入强制回答
基本上就可以解决大部分回答问题

### 部署 DeepSeek 1.5B 模型 #### 准备工作 确保环境已经安装了 Ollama 和其他必要的依赖项。对于国内用户,推荐使用国内镜像源来加速模型下载过程。 ```bash ollama pull deepseek-chat:1.5b ``` 这条命令用于从指定仓库拉取 `deepseek-chat` 版本号为 `1.5b` 的预训练模型文件到本地存储中[^1]。 #### 加载与验证模型 完成下载之后,可以通过下面的指令查看当前系统上可用的所有模型列表: ```bash ollama list ``` 这一步骤有助于确认所下载的模型已经被成功加载至环境中。 #### 测试模型功能 为了初步检验模型的工作状态及其基本性能表现,可执行如下测试语句: ```bash ollama run deepseek-chat:1.5b "请用中文回答:如何提高企业知识管理效率?" ``` 上述操作能够帮助理解该模型处理自然语言查询的能力以及其返回结果的质量水平。 #### 使用 Chatbox 应用程序 当一切准备就绪后,在图形界面应用程序如 Chatbox 中选择“本地模型”,接着挑选之前下载好的 `deepseek-1.5b` 模型来进行交互对话[^2]。 ### 构建企业级知识库 考虑到硬件条件允许的情况下,可以选择更大规模版本的大模型以获得更佳的效果;而对于大多数家庭计算机而言,则可在 `1.5b`, `7b`, 或者 `8b` 规格之间做出权衡决定。一旦选定具体型号并顺利完成部署流程后,便可以根据实际需求创建相应的资源库结构[^3]。 针对特定领域的企业数据集进行微调优化是提升定制化服务体验的有效途径之一。通过持续积累高质量的知识条目,并不断迭代改进算法逻辑,最终实现高效能的知识管理体系构建目标。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值