llama3+web_ui+open_interpreter搭建教程

硬件要求:
   内存:8G以上(最好16G或者32G)

   硬盘:5G以上的空间

一、llama3:8b 安装教学

1.介绍

llama3:8b是一个基于大语言模型(LLaMA)架构的模型,它是由 Meta Research 在 2022 年提出的一种预训练语言模型。

llama3:8b 模型具有以下特点:

1.架构:它使用 LLaMA 架构,这是一个基于 transformer 的架构,旨在处理长文本和多任务学习。

2.参数数量:模型拥有 8.3 亿个参数,是一个非常大的模型。

3.预训练:模型经过了大规模的预训练数据集的训练,包括 Common Crawl、Wikipedia 和 BookCorpus 等数据源。

4.性能:llama3:8b模型具有很高的语言理解和生成能力,可以用来进行文本分类、语言翻译、文本生成等任务。

2.安装ollama

ollama官网: ollama.com/

image001.png

点击Download下载

image003.png 下载完成后进行软件的安装,安装成功之后,你可以在右下角中看到一个羊驼的图标,这样就安装成功了。

image005.png

然后需要你打开命令行(cmd),运行这条命令 ollama run llama3:8b

   第一种方法:打开命令行的方法win键+R键,调出“运行”输入cmd回车即可打开命令行。

image007.png

第二种方法:如图

image009.png

运行ollama run llama3:8b这条命令之后,ollama会自动为你下载llama3:8b这个模型,根据网速不同下载速度也有差异,慢慢等待就好了,ollama会把模型默认下载到c盘,想更改模型下载位置,看第一篇文章。

image011.png

下载完成后出现“>>>”,测试一下可以正常回答即可,在命令行中输入 /bye 即可退出。

注意:下载一次后无需二次下载,再次运行ollama run llama3:8b即可使用。

image013.png

二.open-webui

安装

1.环境安装不做讲解,有需要可以自行去查文章安装即可。

环境要求:

Node.js >= 20.10 or Bun >= 1.0.21

Python >= 3.11

  1. open-webui

在你要安装open-webui目录中,在地址位置输入PowerShell然后回车,打开命令行。

image015.png

第一种方法:如果有git(如果我不知道我在说什么,直接看第二中方法),可以直接把代码拉下来,运行下面的命令即可运行成功。

git clone https://github.com/open-webui/open-webui.git

cd open-webui/
cp .env.example .env

npm i
npm run build

cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat

第二种方法:

用浏览器打开github.com/open-webui/…这个链接,

如果打不开或者打开很慢,那你可以尝试魔法上网(科学上网)。

image017.png

压缩包下载到你要安装的目录后解压,解压之后有一个这样的文件。

image019.png

打开PowerShell命令行之后,运行下面的命令即可

cd open-webui/
cp .env.example .env

npm i
npm run build

cd .\backend
pip install -r requirements.txt -U
.\start_windows.bat

运行.\start_windows.bat命令后等待一段时间

出现下面的界面,在浏览器输入http://localhost:8080/,即可打开(如何玩,自行探索)

image021.png

三、open-interpreter(开放式解释器)

安装

环境要求:

   Python版本:3.10 or 3.11

直接在命令行中运行下面这段命令,即可安装成功

pip install open-interpreter

警告:在启动interpreter时不能魔法上网不然会报下面的错误

image023.png

安装成功之后运行interpreter这命令即可打开,默认使用GPT4启动,需要GPT4的key。

那么我们如何让interpreter 运行llama3:8b呢?

很简单只需要在interpreter 后面加上 --model llama3:8b运行即可

interpreter --model llama3:8b

image025.png

注意:如果启动时遇到了下面的报错

image027.png

我的解决方案是更新一下interpreter

运行下面这条命令

pip install --upgrade open-interpreter。

四、注意事项

至于这些工具怎么玩,那就要靠你自己自行探索咯(手动滑稽)。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 img

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四、100+套大模型面试题库

在这里插入图片描述

五、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

<think>好的,我需要回答用户关于Llama Factory WebUI是否支持单机多卡运行的问题,并提供配置教程。首先,根据用户的引用内容,引用[1]提到可以通过设置CUDA_VISIBLE_DEVICES和GRADIO_SHARE来启动WebUI服务,并配置模型、数据集等。引用[2]则讨论了多卡训练时的批次大小设置和梯度累积步骤的调整,以及显存管理的注意事项。 接下来,我需要确认Llama Factory WebUI是否支持单机多卡。根据引用内容,用户提供的教程确实涉及多卡配置,比如使用CUDA_VISIBLE_DEVICES指定多块GPU。因此,可以确定是支持的。 然后,整理配置步骤。第一步是启动WebUI时指定多块GPU,例如CUDA_VISIBLE_DEVICES=0,1。同时,需要设置GRADIO_SHARE=1以便外部访问。第二步是在WebUI界面中选择多卡配置,可能是在高级参数设置里找到GPU数量选项,设置为可用卡数。第三步是调整批次大小和梯度累积步数,根据显存情况合理分配,如每卡batch_size为2,总batch_size=卡数×每卡batch_size×梯度累积步数。同时,注意学习率的调整,大批次可能需要更大的学习率,参考引用[2]中的建议。 另外,需要提醒用户常见问题,比如显存不足时如何调整参数,以及分布式训练中的通信开销可能影响速度,建议优先使用同一型号的GPU。最后,根据用户引用中的信息,正确添加引用标识。 确保回答结构清晰,分步骤说明,并引用相关部分。同时,生成相关问题以帮助用户进一步了解多卡训练的其他方面。</think>根据引用内容,**Llama Factory WebUI支持单机多卡运行**,具体配置步骤如下: --- ### 一、单机多卡配置步骤 1. **启动WebUI服务时指定多卡** 使用`CUDA_VISIBLE_DEVICES`参数选择需要使用的GPU编号,例如同时启用0号和1号卡: ```bash CUDA_VISIBLE_DEVICES=0,1 GRADIO_SHARE=1 llamafactory-cli webui ``` 此命令会启动WebUI服务,并允许外部访问[^1]。 2. **WebUI界面配置** - 在WebUI的`模型配置`页面选择模型路径和数据集。 - 在`高级参数`中设置`num_gpus`为实际使用的GPU数量(如2)。 - 根据显存调整`batch_size`和`gradient_accumulation_steps`,例如: - 单卡batch_size=2,双卡时总batch_size=2(卡数)×2(单卡batch)×1(累积步数)=4 若显存不足,可通过增加`gradient_accumulation_steps`间接扩大总batch_size[^2]。 3. **学习率调整(可选)** 多卡训练时建议适当提高学习率,具体数值可参考论文或经验公式(如线性缩放规则)。 --- ### 二、关键参数说明 | 参数 | 作用 | 示例值 | |--------------------------|--------------------------------------|--------------| | `CUDA_VISIBLE_DEVICES` | 指定使用的GPU编号 | 0,1 | | `num_gpus` | WebUI中设置的GPU数量 | 2 | | `batch_size` | 单卡单步处理的样本数 | 2 | | `gradient_accumulation` | 梯度累积步数,缓解显存压力 | 4 | --- ### 三、常见问题解决 1. **显存不足** - 降低单卡`batch_size` - 增加`gradient_accumulation_steps`(如从1改为4)[^2] 2. **多卡训练速度未提升** - 检查GPU型号是否一致(避免异构通信开销) - 确认数据加载是否为瓶颈(可尝试预加载数据集) ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值