Ollama是一款开源且专用于在本地运行LLM(大型语言模型)的软件,支持macOS,Linux,Windows多平台。使用它可以简化大模型在本地部署的流程,即使你是个新手,在看完这篇后也能轻松上手。同时因为它是开源且本地部署,可保证数据不会泄露。在本文中,我将介绍Ollama在Windows和Linux平台的安装,同时使用“Open WebUI”实现网络访问及文档识别,网络搜索功能。
Windows安装及使用教程
Ollama下载地址:Ollama Windows下载
更改模型存放位置:
首先下载Ollama,双击安装。
安装好后按Win + R 键输入sysdm.cpl后回车(或Win + Q 搜索“查看高级系统设置)打开窗口后切到“高级”,选择“环境变量”,在用户变量处找到“Path”双击进入
新建系统变量,名为“OLLAMA_MODELS”,变量值为你自定的模型存放位置(建议放置在C盘以外,容量大且读写速度快的盘)
保存后在系统托盘退出Ollama再启动即可。
更改同时运行在内存中及并行处理请求的模型数量:
进入“环境变量”,新建系统变量
1.变量名为“OLLAMA_MAX_LOADED_MODELS”,变量值为你想要同时运行的模型数量(1,2…);
2.变量名为“OLLAMA_NUM_PARALLEL”,变量值为你想并行处理请求的数量。
更改请先确保自己的电脑配置足以支撑多个模型运行。
更改API监听端口
进入“环境变量”,新建系统变量
变量名为“OL

最低0.47元/天 解锁文章
1022

被折叠的 条评论
为什么被折叠?



