前言
现阶段的AI大模型备受瞩目,大模型通常指的是大规模的人工智能模型,这类模型通过训练大量的数据来获得广泛的知识和能力。这些模型通常具有庞大的参数数量,能够处理复杂的任务,如自然语言理解、图像识别、语音识别等。然而AI大模型种类繁多,本文旨在把开源的模型下载到本地进行整理并且使用。感谢课题组陈晓峰同学的参与!
此过程用于Windows本地部署。
由于此次AI本地部署需要多次用到官方链接进行下载,需要各位观看的小伙伴自行准备clash等可访问的代理。
Ollama安装过程
第一步:打开Ollama官网下载Windows版本
第二步:将Ollama安装到D盘
下载完成后,不要直接双击运行安装程序,否则直接安装到C盘。
在下载文件夹C:\Users\用户名\Downloads中打开Windows命令提示符cmd,输入以下命令来指定安装路径(将D:\OllamaSetup替换为你需要的安装路径)。
C:\Users\用户名\Downloads>OllamaSetup.exe /DIR="D:\OllamaSetup"
回车后,安装程序将按照你指定的路径进行安装。
第三步:通过编辑系统变量改变Ollama下载大模型的默认路径
1、右键“此电脑”点击属性
2、找到并打开环境变量
单击“系统属性”——“高级”——“环境变量”
3、打开环境变量并点击系统变量下的“新建”按钮
将D:\OllamaSetup\models替换为你需要存放大模型的路径
变量名:OLLAMA_MODELS
变量值:D:\OllamaSetup\models
点击“确定”保存环境变量设置。
再使用Ollama时,模型就会下载到你指定的目录。
第四步(选做):下载安装Llama3
Llama 3 是 Meta 开发的大型语言模型。Ollama 为 Llama 3 提供了便捷的本地部署和运行环境,用户通过 Ollama 可以轻松地在个人电脑上启动和使用 Llama 3,无需担心底层的复杂技术细节。
打开Windows命令提示符cmd安装Llama3
执行以下命令:
C:\Users\用户名>ollama run llama3
安装完毕后,再次输入ollama run llama3,自动就会启动,进入会话界面。
Docker Desktop安装过程
Docker 是一个开源的容器化平台,旨在开发、部署和运行应用。它利用容器来隔离软件,使其在不同环境中都能一致运行。
第一步:打开Docker官网下载Windows版本
链接: https://www.docker.com/products/docker-desktop/
下载完成后,不要直接双击运行安装程序,否则直接安装到C盘。
第二步:新建Docker文件夹
在需要安装Docker以及Docker项目的路径下建立Docker文件夹。
比如我的就在 D:\Docker\Program Files\Docker 和 D:\Docker\ProgramData\Docker下。
第三步:以管理员身份打开Windows命令提示符cmd
第三步:找到Docker建立项目会存储的位置
一般是在C:\Users\用户名\AppData\Local\Docker与C:\Program Files\Docker下,伙伴们不需要寻找,因为还没有安装,还没有这两个路径的文件夹,接下来分别输入两个命令创建两个文件夹之间的目录连接
C:\Users\用户名>mklink /J "C:\Program Files\Docker" "D:\Docker\Program Files\Docker"
C:\Users\用户名>mklink /J "C:\Users\用户名\AppData\Local\Docker" "D:\Docker\ProgramData\Docker"
第四步:安装Docker Desktop
结果:环境变量的路径还有原始路径下都会是默认的路径,但是我们可以看到的是,原始路径下的Docker这个文件图标已经是快捷方式了。之后的所有实际内容都会在D盘,但是会映射到C盘。
第五步:验证docker是否安装成功
docker run hello-world
LobeChat安装过程
第一步:打开Windows命令提示符cmd
通过命令提示符输入以下指令:
docker pull lobehub/lobe-chat:latest
这条命令用于从 Docker Hub 上拉取最新的 lobehub/lobe-chat 镜像。执行这条命令后,Docker 会将 lobehub/lobe-chat 镜像的最新版本下载到你的本地系统,以便你可以使用它创建和运行 Docker 容器。
以下是成功下载的结果:
latest: Pulling from lobehub/lobe-chat
d2ae9606675d: Pull complete
Digest: sha256:7879a5ae4c63c46e8bda889c454f0a34dd65248aef4250eb18702125aa10c796
Status: Downloaded newer image for lobehub/lobe-chat:latest
docker.io/lobehub/lobe-chat:latest
在此基础上再运行以下指令:
docker run -d --name lobe-chat -p 10084:3210 -e ACCESS_CODE=lobe66 lobehub/lobe-chat:latest
到这里,我们已经安装部署完成 LobeChat.
第二步:使用LobeChat
打开浏览器输入 localhost:10084 或 点击上图红框中的10084:3210会自动在浏览器中打开LobeChat.
点击最顶部大模型选择 llama3,这样就可以免费使用大模型 llama3。
结束
大模型本地部署的流程已经走完了,本文特意避开C盘下载,防止C盘爆红。