个人本地部署大模型挂载搭建RAG知识库实战记录

如题，实际跑一遍发现已经非常简便快捷了，各类文章也很成熟，写一篇记录一下，为后续写开发文档存稿一下，仅供参考。适合想自己本地拉一个模型来简单跑跑或者DIY的AI入门学者

知识面有限，硬件需求不作赘述，提供一个大部分能跑的版本。

本文是私有化部署，效果其实应该跟市面上很多发布AI应用的第三方平台差不多，如果不想私有化本地化可以选择那些平台，字节的扣子、智谱之类的，没用过，不评价。

一、Ollama

用来快速拉模型和部署模型的，支持llama、qwen、Gemma等模型，很方便，下一个这个就完成80%了。

链接：Ollamahttps://ollama.com/

支持Windows， Linux， MacOS

下载完之后默认端口是11434，可以在win+R输入sysdm.cpl后的环境变量里面的高级选项卡-环境变量里修改端口，cache也要加一下，origin设为*可以解决跨域问题（遇到的一个小坑）：

安装完之后打开终端/命令行，运行ollama [命令] [模型], 比如 ollama pull qwen2.5 或者 ollama run llama3，其中pull是拉下来，run是运行，具体的可以从ollama官网右上角Models里面找:

可以看到支持的各种几b几b的参数，比如7b这个是4.7GB，复制右边的命令到命令行就可以拉取+运行。

二、AnythingLLM

用来传文件构建知识库的，原理网上很多，大概就是集成模型嵌入和向量数据库，然后可以支持Ollama和一些如openai的模型。

链接：

Download AnythingLLM for Desktophttps://anythingllm.com/desktop下载安装完按部就班设置下一步就好了，注意如果前面Ollama的默认端口（OLLAMA_HOST）有改的话记得这里也改一下匹配一下，没看到的注意看一下第一页的show advanced settings，小箭头展开。

创建工作区然后就可以上传文件了，至此完成。

网上搜索过程中很多用docker安装的，也有遇到一些坑，比如windows的代理之类的，实际又在mac上跑了一下流程发现没必要用，如果想用openwebui的可以试一下，其实自己随便写一个html网页调试接口就可以了。