提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
每天学习一个小技巧,让枯燥无味的生活变得充实有趣吧~
今日学习来自Ollama大模型本地部署,修改本地模型地址,模型资源的下载以及命令状态的查看,让我们一起来揭开Ollama大模型神秘的面纱吧!
一、Ollama是什么?
Ollama 是一个基于 Go 语言开发的可以本地运行大模型的开源框架。其使用部署简单、轻量,并且有简洁的API,使得开发者可以轻松创建、管理大模型,另外它还支持跨平台以及命令行启动等配置。
二、安装
1.下载
从github上下载后,默认程序是装在C盘中的,我们直接点击install,等待完成下载。
安装好ollama以后,我们来验证一下,看看我们是否安装成功了呢?首先Windows + R 快捷键输入cmd,让我们进入控制台:
点击确定后,我们输入ollama:
这里我们可以看到,我们安装的ollama就已经成功了,有兴趣的朋友可以看看下面这几个信息,对应查看我们的ollama环境~
查看信息:ollama
查看ollama版本:ollama -v
查看已下载模型:ollama list
2.环境配置
现在我们可以运行ollama服务了,但是我们的模型下载地址还默认在C盘中,如果此刻我们下载模型,很快我们的电脑就会被资源占满,这就需要我们对环境做一些适当的配置。
首先我们搜索编辑系统环境变量,点击环境变量,我们在用户变量中,选择添加,完成OLLAMA_HOST,OLLAMA_MODELS的配置。
完成上述配置后来到了至关重要的一步,我们要重启电脑并且退出ollama服务,重新运行。
右击Ollama图标,选择Quit Ollama。
重新运行Ollama服务:
这样就成功的修改了大模型存放的位置!
3.安装模型
如何运行/安装我们的大模型呢?
大模型地址
在大模型地址中,我们搜索到我们所需要的模型(以下示例为:阿里的通义千问),qwen2.5,我们返回到控制台。
运行:ollama run qwen2.5
等待我们看到success出现的时候,就说明我们下载完成了。
当我们安装完成这个大模型以后,我们就可以和他对话了。它具备联系上下文的功能,我们可以问他一些我们想要了解的内容,它会给我们相应的答案哦!
总结
到此,我们就可以在本地与我们喜欢的大模型进行对话啦!小白的成长之路又进了一步!
下面提供几个更专业的学习指南:
1、ollama官网资源:ollama官网
2、ollama 文档:ollama 文档
3、Ollama本地大模型运行指南:https://zhuanlan.zhihu.com/p/695040359
4、大模型部署工具之ollama的安装部署以及api调用:https://blog.youkuaiyun.com/tirestay/article/details/139744309