本地使用大模型：Ollama+open-webui+AnythingLLM(Windows+linux)

本地使用开源大模型

随着大模型的发展，大量的开源模型可以被直接使用。大模型的使用可以选择在云端或者在本地，如果本地存储空间尚可，而且模型需求不是很大的话，我们可以选择在本地部署一个大模型来使用。针对特定的任务需求，进一步在本地去微调我们的大模型。我在windows和linux上都尝试了一遍，这里记录一下过程。

Windows部署

1.下载ollama

Ollama 是一个开源的、用于本地部署 AI 模型的框架，它的目标是让开发者能够在本地机器上运行大型的语言模型（如 GPT 系列模型、LLAMA 模型等），而不依赖于云端 API 或外部服务。通过 Ollama，用户可以更加灵活地控制和优化 AI 模型的使用，同时避免高昂的 API 调用费用和潜在的隐私风险。

下载地址，选择windows系统，下载后双击开始安装即可。

下载成功后，默认模型保存地址是C盘，如果想改到其他盘，需要添加环境变量：OLLAMA_MODELS=D:\files,设置后打开cmd命令行，输入命令set,输出框里看到设置的环境变量即说明已经生效。（或者可以先下载个小模型验证一下存储地址是否改变。）
验证是否下载成功：cmd打开命令行，输入ollama --version，输出版本号，即说明安装成功。这时不要关闭命令行窗口，之后的操作都在这