本地可以Run大模型吗？Llama3？安排！

➡️ 前言

本地可以跑大模型吗?

ChatGPT发布之后，引起了AI领域剧烈震动，从2023年3月百度发布新一代大预言模型文心一言开始，大模型如雨后春笋般不断涌现，国内阿里巴巴的通义千问、华为的盘古大模型、科大讯飞的星火认知大模型、360的360智脑、字节跳动的火山方舟、京东的言犀产业大模型、腾讯的混元大模型、谷歌的PaLM2模型、Meta的LLaMA模型、微软的Phi等一一亮相。业内都把2023年称之为AI元年。

不少程序员都想跑一下大模型，小编也想试试，现在本地运行大模型方法有好几种，那么我们今天来介绍一下其中一种–>Ollama。

Ollama比较倾向于为个人用户提供便捷的开源模型部署和调用服务，而且Ollama也提供OpenAI风格的调用方法，支持GPU和CPU混合运行模式、以及更加便捷的显存管理方法。一起跟随小编来试试吧

➡️ 目录

一、安装NVIDIA相关组件

二、安装ollama

三、安装OpenWebUI

➡️ 正文

一、安装NVIDIA相关组件

虽然ollama支持GPU和CPU混合，但是我们还是检查一下环境是否支持CUDA，如果支持，那安装一下NVIDIA驱动，为大模型加速。
如果已安装CUDA相关驱动，这里可忽略。

1. 检查环境
查看有没有Nvidia GPUs

lspci | grep -i nvidia

如图↑，返回信息显示服务器上是有显卡的，那么下面安装一下驱动

英伟达这个标识有可能全大写，全小写，或者是首字母大小Nvidia，所以我们平时在搜索这个英文的时候，建议忽略大小写查询。

2. 查看系统名称以及相关版本号

uname -m && cat /etc/*release

图中可知，系统架构是X86_64，内核版本4.18.0-513.24.1.0.1.an8.x86_64
重点看这里 ID_LIKE=“rhel fedora centos” VERSION_ID=“8.9”。

我们系统安装的是龙蜥操作系统，兼容 CentOS 软件生态，从参数来看，系统名称可以参考rhel/fedora/centos，版本参考8.9。

（tip：centos停更了，笔者采用国产龙蜥操作系统，安装步骤可以查看之前发布的教程）

3. 禁用nouveau

在Linux系统中安装NVIDIA显卡驱动前，建议先卸载Linux系统自带的显卡驱动nouveau。

nouveau是一个由爱好者组织的针对NVIDIA显卡开发的第三方开源3D驱动的共同项目，并且nouveau是在完全没有得到NVIDIA任何支持的情况下进行开发的，与NVIDIA驱动存在冲突，并且会影响GPU运行的可靠性，使用NVIDIA GPU前先禁用该驱动。如果没有禁用，在安装过程中，也会被提示有冲突，导致安装失败。

查看nouvean是否已加载，如果未被加载，此处跳过。

lsmod|grep -i nouveau

如回显中存在nouveau，则说明nouveau驱动已被加载。需要禁用。
以本篇anolis系统为例
创建文件

touch /etc/modprobe.d/blacklist-nouveau.conf

添加如下文本：

blacklist nouveau
options nouveau modeset=0

然后保存退出，执行命令

dracut --force

重启服务器

reboot

启动之后，再次检查是否还存在nouveau，如不存在，禁止成功，进行下一步。
检查一下必要组件是否已安装，如果没安装，输入Y进行安装操作。

dnf install --enablerepo=Plus gcc gcc-c++ kernel-devel-$(uname -r) kernel-headers-$(uname -r)

4. 下载&安装驱动

上面查看服务器是否有NVIDIA的时候可以看到对应的型号，去NVIDIA的官网下载对应型号的驱动文件。

https://www.nvidia.cn/Download/index.aspx?lang=cn#

小编自己的对应型号搜索到下载的文件是

NVIDIA-Linux-x86_64-470.239.06.run

执行如下命令启动安装，安装过程中会编译适配当前内核版本的驱动，按照提示安装即可：

sh NVIDIA-Linux-x86_64-470.239.06.run --no-x-check

安装完成后执行命令即可看到驱动的信息

lsmod | grep -i nvidia

安装成功,执行命令可以查看NVIDIA工作情况

nvidia-smi

上图可知，CUDA的版本为11.4，安装与NVIDIA Driver版本适配的CUDA去官网下载需要安装的CUDA版本：

https://developer.nvidia.com/cuda-toolkit-archive

小编对应型号下载的是

cuda_11.4.0_470.42.01_linux.ru

执行如下命令启动安装（文件比较大，时间可能较长）

sh cuda_11.4.0_470.42.01_linux.run

如图↓所示，输入accept，同意用户协议。

如图↓，CUDA包里面包含了NVIDIA Driver，前面我们安装过了NVIDIA Driver，这里取消该选项。

如图↓，安装成功。

根据图片提示添加环境变量

echo 'export PATH=/usr/local/cuda-11.4/bin:$PATH' >> /etc/profile
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH' >> /etc/profile
source /etc/profile
ldconfig

nvcc --version命令可以查看编译器版本

安装与CUDA版本适配的cuDNN

下载cuDNN需要NVIDIA账号，并且加入了「NVIDIA Developer Program」。

https://developer.nvidia.com/developer-program

下载与CUDA版本对应的cuDNN版本：

https://developer.nvidia.com/rdp/cudnn-archive

获取到的是一个压缩文件
cudnn-linux-x86_64-8.9.7.29_cuda11-archive.tar.xz
解压到当前目录，解压完毕后，进入解压文件夹
执行如下命令将cuDNN拷贝到前面安装的CUDA目录下

到此，Nvidia相关组件安装算是结束了，可以松一口气了。

二、安装ollama

1. 一键安装
访问ollama官网，也提供了windows的安装包，不过我们用的是Linux系统，官网也提供了一键安装脚本命令。

#一键安装
curl -fsSL https://ollama.com/install.sh | sh

2. 手动安装

一键安装有一键的好处，小编喜欢自己鼓捣，下面我们选择手动自行安装。

访问ollama的网址

https://github.com/ollama/ollama/blob/main/docs/linux.md

下载ollama的二进制文件

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama

赋予可执行权限

chmod +x /usr/bin/ollama

实际上，下载完二进制文件，现在已经可以使用了；不过为了后续方便，我们添加一个启动服务，也是官方推荐的方式。
先添加一个用户

useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在/etc/systemd/system
创建一个名称ollama.service的文件

[Unit]Description=Ollama ServiceAfter=network-online.target[Service]ExecStart=/usr/bin/ollama serveUser=ollamaGroup=ollamaRestart=alwaysRestartSec=3#添加相关变量Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_MODELS=/mnt/vdb1/module/ollama/.ollama/models"#Environment=CUDA_VISIBLE_DEVICES=1,2[Install]WantedBy=default.target

后续方便维护和集成调用，我们添加三个变量

①修改默认地址

ollama默认绑定127.0.0.1，端口11434。后面我们会集成网页工具来调用，那需要修改一下访问的地址，这里可以通过OLLAMA_HOST更改绑定地址。

②修改存储路径

默认情况下，不同操作系统大模型存储的路径如下：

Linux平台安装ollama时，默认安装时会创建用户ollama，再将模型文件存储到该用户的目录/usr/share/ollama/.ollama/models。但由于大模型文件往往特别大，有时需要将大模型文件存储到专门的数据盘，此时就需要修改大模型文件的存储路径。官方提供的方法是设置环境变量“OLLAMA_MODELS”。

③指定GPU

本地有多张 GPU，如何用指定的 GPU 来运行 ollama？在Linux上配置环境变量CUDA_VISIBLE_DEVICES来指定运行ollama的GPU。

创建完就可以开始启动了

添加开机启动

systemctl enable ollama

这下安装完结。

我们先把删除的方法贴上来。

好了，上面是整个安装和删除流程。

激动人心的时刻来了，我们开始来跑一个大模型看看
ollama支持的模型有很多，如图

ollama还可以自定义模型文件

我们先选择比较火热的meta的llama3 8B的模型试试

执行命令

输入完命令，首次运行服务会开始下载模型文件，下载完自动运行，窗口上显示send a message，就是启动成功，可以开始聊天了

不过这样有点不好玩，必须在控制台才行，有个网页来对话就更好了，别担心，互联网是强大的，没有做不到，只有你想不到。

三、安装OpenWebUI

我们来安装一款ui工具

先安装一下docker

dnf config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装可能会报软件冲突,按照提示添加替换试试
(尝试在命令行中添加 '--allowerasing' 来替换冲突的软件包 或 '--skip-broken' 来跳过无法安装的软件包 或 '--nobest' 来不只使用软件包的最佳候选)
dnf install docker-ce docker-ce-cli containerd.io --allowerasing

按照提示安装完docker
启动docker

systemctl start docker

国内从 DockerHub 拉取镜像有时会遇到困难，配置镜像加速可以缓解这一情况，在/etc/docker目录下新建文件，名称为daemon.json，在文件中添加镜像仓库地址。

docker可以搭配GPU一起运行，但是需要安装NVIDIA相关组件
可参考

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-yum-or-dnf

上命令…

#添加nvidia容器组件库
dnf config-manager --add-repo https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo
#安装nvidia容器组件
dnf install nvidia-container-toolkit
#配置容器信息
nvidia-ctk runtime configure --runtime=docker
#配置完查看信息
cat /etc/docker/daemon.json
#重启
dockersystemctl restart docker

访问GitHub - open-webui网站查看安装方法

https://github.com/open-webui/open-webui

#有GPU的用这个
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

#走CPU的用这个
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name openwebui1 --restart always ghcr.io/open-webui/open-webui:main

访问docker启动的地址加端口号3000

首次登录没有账号注册一下

登录之后还可以选择显示语言

连接这里填服务器的地址，ollama默认端口11434

最后展示一下成果！

安装完成，动手试试吧！

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。