ollama
ollama是一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型。开源项目,专注于开发和部署先进的大型语言模型(LLM)
官网: https://ollama.com/ 下载地址:https://ollama.com/download/windows
双击下载的OllamaSetup.exe,无脑安装
下载qwen2.5大模型文件
Qwen2.5-Coder基于Qwen2.5基础大模型进行初始化,使用源代码、文本代码混合数据,偏向于编程领域的模型,这里大家根据自己的需求进行选择模型
默认是7b,但是需要切换下,这样右边的命令参数才会变 ollama run qwen2.5-coder:7b
这里的b代表的是参数数据
1b是10亿参数,通常1B,意味着需要机器需要1G以上的内存,大的数据通常在需要更高性能的任务中使用,这里可以根据自身的电脑配置情况进行选择
打开cmd窗口进行下载(这里默认安装会在C盘消耗你十几个G的磁盘空间)
指定模型下载路径 OLLAMA_MODELS
环境变量也可以自定义端口
OLLAMA_BASE_URL http://127.0.0.1:11434 #可以自定义端口
如果设置完环境变量发现下载还在C盘,重启下电脑重新下载,如果下载到C盘想要迁移的,
打开C:\Users\Administrator\.ollama\models
,将这里面的内容迁移到指定的路径下