DeepSeek应用实践（一）windows环境私有化部署

基础环境

联想拯救者笔记本，windows，3070ti，16G

本地部署

安装Ollma

拉取deepSeek

这里根据你的GPU性能选择对应的版本

测试deepSeek

你可以直接在控制台中提问

模型对话可视

使用Page Assist做为本地 AI 模型的 Web UI工具，通过本地运行的 AI 模型来辅助你的网页浏览，下载好后在浏览器插件中安装。

检索增强生成

拉取检索增强生成模型

在page Assist【RAG设置】，选择nomic-embed-text

创建知识库

通过page Assist

便捷方法。通过【管理知识】，添加新知识，把你自己的那些文档传上去吧，状态从处理中-到已完成需要的等待一段时间。

通过AnythingLLM

需要掌握正确的数据投喂方法。可参考-这篇文献​​​​​​​​​​​​​​​​​

创建完成后，问答前需要切换知识库。

评估

1.简单创建了一个LBS知识库，包含了2个pdf，向ds提问“全息位置地图场景数据包括什么”，回答速度还是比较快的，此外还提供引用文献的章节出处。

2.从回答的结果来看，7b蒸馏版本的智能程度毕竟有限，通过设定提示语等参数，可以一定程度调优。期待满血版。

3.部署完后既可实现离线应用，但在拉取模型过程中，依然是联网状态，关于无互联网环境下服务器部署deepseek，有待后续实践。