前提:已经借助ollama配置好了deepseek本地模型
1. 安装anythingLLM (我安装时卡在了下载ollama包阶段,取消下载ollma包),完成anythingLLM安装 (后续需要判定安装是否成功)。
https://anythingllm.com/desktop
2. 启动anythingLLM,选择ollama,自动匹配到了我安装的deepseek本地模型了。
Embedding Preferenc同样选择ollama,Vector Database就直接默认的LanceDB即可。
3. 使用 Anything LLM 来为 DeepSeek-R1 提供训练数据,点击工具区旁的向上箭头
在工作区中上传或选择已有文档,点击‘Move to Workspace’将其移入右侧工作区,再点击‘Save and Embed’以完成文档的使用准备。(这个过程会将初次使用的文档向量化,会用到Embedding模型)
上传文档并向量化,成功后,就可以询问大模型知识库中的内容了。
4. 检验训练效果
AnythingLLM通过问题检索知识库中的相关片段,回答时引用检索到的内容。用户可以查看引用内容的匹配度(相似性),便于优化知识库的检索策略。
训练前的回答:
训练后的回答:
既然我们能实现训练本地 AI,那接下来就是持续收集新内容来提升其价值吧。每天将文本文件、PDF、网页抓取内容等知识输入,充实知识库。随着内容的持续更新,知识库不断完善,当被 AI 大模型提取运用,就能与用户需求高度契合,提供更精准、更贴心的服务,最大化发挥 AI 的实用价值 。