单机单卡和单机多卡性能对比（自测，记录）

最新推荐文章于 2024-09-13 18:04:17 发布
置顶 最新推荐文章于 2024-09-13 18:04:17 发布
阅读量1.1k 收藏 9
点赞数 14
分类专栏： SD，AIGC，多模态 服务器使用 文章标签： python 深度学习 计算机视觉 服务器 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43725659/article/details/135158884
版权

单机单卡和单机多卡性能对比

本文针对人脸检测项目内容对单机单卡和单机多卡在性能做简单测评
任务：人脸检测
算法：DamoFD
设备： 1 * A100 * 80G ， 4 * A100 * 80G
环境：pytorch1.11
数据集：卡通人脸10000张，项目数据验证机123张
模型：单卡和4卡在DamoFD80个epoch的onnx权重
评测指标：Precision,Recall,F1
在这里插入图片描述

在这里插入图片描述

单机单卡在123张数据的指标

在这里插入图片描述

单机多卡在123张数据的指标

在这里插入图片描述

单机单卡在10000张卡通数据的指标

在这里插入图片描述

单机多卡在10000张卡通数据的指标

在这里插入图片描述

结果

从两批数据上我们不难看出单机多卡的性能是优于单机多卡的，事实上也确实如此。博主在对数据测评后发现，单机单卡的误报比较少，但召回低很多，在小目标上比原论文差，对动漫数据的准确率较高。单机多卡准确率略低一点，但对小目标的召回以及卡通数据的泛化性上都优于单机单卡。

分布式训练 - 单机多卡（DP和DDP）
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
tensorflow 多卡测试_tensorflow 单机多卡示例--数据并行
weixin_42150341的博客
01-30 619
https://www.tensorflow.org/tutorials/deep_cnn/多机多卡(未验证)：# coding=utf-8'''Created on Jan 4, 2017@author: colinliangtensorflow 单机多卡程序示例，参考: tensorflow示例cifar10_multi_gpu_train.py'''from __future__ impor...
pytorch GPU分布式训练 单机单卡、单机多卡
hihui1231的博客
11-02 6746
GPU分布式训练
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
胖胖大海的博客
11-17 5876
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用
多GPU并行训练和单GPU训练网络精度对比
weixin_44523062的博客
11-07 2297
文章目录实验配置1 单2080s 86.4 / 94.42 单2080 86.0 / 94.53 利用torch的parallel两张并行 85.0 /93.7 实验配置 一张2080s, 一张2080 1 单2080s 86.4 / 94.4 re-ranking 2 单2080 86.0 / 94.5 3 利用torch的parallel两张并行 85.0 /93.7 ...
单机单卡，单机多卡，多机多卡训练代码
weixin_41012399的博客
12-12 3095
pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。后面还可以用torch.nn.DataParallel(model, device_ids=[1, 2])进行指定，但是必须包含set_device(1)指定的device:1的设备，缺点是仍然会存在占用一些device:0的gpu内存；
torch 单机多卡训练
BodyCsoulN的博客
03-11 6506
最近在尝试用torch单机多卡进行训练。 网上有很多方法，有的讲的也很详细，但是torch版本更新的还是很快的。所以自己也踩了很多坑。在这里记录下来，希望对大家有帮助。 本文适用torch版本：1.10 torch单机多gpu训练有两种方式 torch.nn.DataParallel torch.nn.DataParallel( module, device_ids=None, output_device=None, dim=0) 这一种方式是比较老的，官方现在也不太推荐，相对来说，这种方式
Retinanet-Pytorch:Retinanet目标检测算法(简单,明了,易用,全中文注释,单机多卡训练,视频检测)(based on pytorch,Simple, Clear, Mutil GPU)
05-05
GIthub使用指北: 1.想将项目拷贝到自己帐号下就fork一下. ...支持单机单卡,单机多卡,指定gpu训练及测试,但不支持多机多卡和cpu训练和测试. 不限定检测时的设备(cpu,gpu均可). Requirements pytorch op
单机多卡训练
wang2008start的专栏
04-28 1860
启动方式的修改 单机单卡的启动 python run.py --model bert 单机多卡的启动，2是卡的个数 python -m torch.distributed.launch --nproc_per_node 2 run.py --model bert 卡的设置方式修改 上面改成分布式启动后，会自动传 local_rank 参数给程序，我们需要解析收到的 local_rank参数并进行设置 parser.add_argument("--local_rank", type=in.
大模型训练策略：单卡or多卡
Chrsitina_S的博客
11-04 1354
大模型训练策略
【分布式训练】单机多卡（一）：理论基础
sage_wang的博客
07-13 902
最近由于有模型训练的任务，老板对已有的单机单卡模型训练的时间不满意，觉得炼丹周期太长，让我用单机多卡来对模型训练进行优化加速。这两天看了点知乎、csdn、stackoverflow上面相关的文章和问题，发现里面的坑还不少。 今天，我就给大家排排坑，介绍一下如何将已有的模型训练转成单机多卡的形式，来进行分布式训练。 1、总分 分布式训练分为这几类： l按照并行方式来分：模型并行 vs 数据并行 l按照更新方式来分：同步更新 vs 异步更新 l按照分布式训练系统架构来分：Parameter Server Arc
单机多卡训练-DDP
vivi_cin的博客
12-17 991
DDP通过Ring-Reduce（梯度合并）的数据交换方法提高了通讯效率，并通过启动多个进程的方式减轻Python GIL的限制，从而提高训练速度。，建议在保存模型时，去除模型参数字典里面的module，如何去除呢，每一个epoch里面真正的打乱数据。增大batch size提高并行度。
单机多卡并行（李沐老师课程）
2401_87085787的博客
09-13 338
数据并行：将小批量的数据分成n块，每个GPU拿到完整参数，各自计算一块数据的梯度。图片中显示了四个GPU，它们从key-value存储中获取参数，计算各自的梯度，然后发送梯度回主节点。在训练和预测过程中，我们将一个小批量的数据分配给多个GPU，使得计算能够同时进行，达到加速的目的。通道并行（数据+模型并行）：结合上述两种方法，既对数据也对模型进行划分，以最大化利用GPU资源。模型并行：将模型分割为几个部分，在不同的GPU上运行，通常是将前向传播阶段分布在多个GPU上。这样的过程循环进行，直到训练结束。
Pytorch单机多卡训练
love1005lin的博客
04-26 1130
pytorch中单机多卡可以使用DataParallel和DistributedDataParallel 来实现。 pytorch官网中推荐使用DistributedDataParallel。两者区别是： DataParallel是单进程多线程控制GPU的实现方式，因此只能在一台机器上使用，而DistributedDataParallel则是多进程控制GPU，除了能实现单机多卡外，也能够实现分布式训练。 DataParallel一般会比DistributedDataParallel慢 Distributed
深度学习单机多卡/多机多卡训练
slamer111的博客
09-06 1950
感知秋招面经：多机多卡你用过吗？
pytorch中的单机多卡和多机多卡
liguandong
09-22 4184
pytorch 单机多卡的正确打开方式pytorch 使用单机多卡，大体上有两种方式简单方便的 torch.nn.DataParallel(很 low，但是真的很简单很友好)使用 torch.distributed 加速并行训练(推荐，但是不友好)首先讲一下这两种方式分别的优缺点nn.DataParallel优点：就是简单缺点就是：所有的数据要先load到主GPU上，然后再分发给每个GPU去train，注意这时候主GPU的显存占用很大，你想提升batch_size,那你的主GPU就会限制。
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
weixin_44955407的博客
06-06 4466
多GPU训练能够加快模型的训练速度，而且在单卡上不能训练的模型可以使用多个小卡达到训练的目的。多GPU训练可以分为单机多卡和多机多卡这两种，后面一种也就是分布式训练——训练方式比较麻烦，而且要关注的性能问题也有很多，据网上的资料有人建议能单机训练最好单机训练，不要使用多机训练。本文主要对单机多卡训练的实现展开说明。
从单卡到多卡(DDP使用方式，附代码)(一)
qq_45270993的博客
11-01 2383
分布式训练是一种常见的多卡加速训练的一种策略，一般来说有两种方式可选择：DataParallel(DP)和DistributedDataParallel(DDP)。下面演示如何把一个单卡运行的程序修改成可以单卡也可以多卡的形式。拿单机四卡举例，进程号分别是0,1,2,3。机器一上有0,1,2,3,4,5,6,7，机器二上也有0,1,2,3,4,5,6,7。对于两台八卡服务器的world size来说，就是0,1,2,…DDP包含单机多卡(常用)和多机多卡两种模式，这里只介绍单机多卡模式。
大模型训练技巧｜单卡&多卡｜训练性能评测
05-17 3091
大模型对于计算资源的要求越来越高，如何在有限的资源下开展训练？ 对于公司尤其是个人开发者来说，是一个非常有价值的问题。 本文将主要介绍大模型训练技巧，在单卡和多卡上的不同策略，以及对于性能的评测。
llama factory微调本地的模型
最新发布
03-19
<think>嗯，用户想了解如何在本地对Llama Factory模型进行微调。首先，我需要确定用户的需求是什么。他们可能已经有一些大模型的基础知识，但需要具体的步骤指导，尤其是在本地环境配置和微调流程上。 首先，用户提到的引用内容中，有单机微调和多卡微调的教程，还有具体的命令，比如启动webchat和训练命令。需要把这些信息整合起来，给出一个清晰的步骤。 用户的问题涉及环境配置、数据准备、配置文件修改和微调执行。我需要分步骤来回答，确保每个部分都详细但不过于复杂。比如，安装虚拟环境和依赖库是关键的第一步，可能用户会遇到环境配置的问题，所以需要详细说明。然后，模型下载可能涉及Hugging Face，可能需要指导用户如何正确下载和配置模型路径。 数据准备部分，引用4提到了创建数据文件夹，下载数据，格式为txt。需要强调数据格式的正确性，可能用户需要知道如何构造自己的训练数据，比如每行一个样本，或者特定格式的文本。 修改配置文件时，用户可能需要调整模型路径、数据路径和训练参数。这里需要提醒用户注意路径的正确性，以及根据硬件调整batch size等参数，避免内存不足的问题。 微调执行部分，引用4中的命令是使用llamafactory-cli来训练，但不同的情况可能需要不同的命令，比如单卡和多卡的情况。用户可能不知道如何选择，所以需要区分单卡和多卡的启动命令，并提及使用DeepSpeed进行优化，特别是Zero3配置，这在引用2中提到过。 另外，用户可能对微调后的测试和应用感兴趣，比如启动API或Web UI进行对话测试，这部分在引用3和4中有涉及，应该包含在回答中，帮助用户验证微调效果。 还要注意用户可能遇到的常见问题，比如依赖冲突、路径错误、数据格式不符等，可以在注意事项里提醒。同时，引用相关的文献，确保用户知道参考来源。 最后，生成的相关问题需要覆盖环境配置、数据格式、多卡训练、评估方法等，这些都是用户在微调过程中可能遇到的后续问题。需要确保问题有针对性，帮助用户进一步深入学习。</think>### Llama Factory本地微调实战教程 根据引用[1][2][4]的实战教程，本地微调流程可分为以下步骤： #### 一、环境配置 1. 安装虚拟环境 ```bash conda create -n llama_factory python=3.10 conda activate llama_factory ``` 2. 安装核心依赖库 ```bash git clone https://github.com/LLaMA-Factory/LLaMA-Factory.git cd LLaMA-Factory pip install -r requirements.txt ``` #### 二、模型准备 1. 下载基础模型（以LLaMA-3为例） ```bash huggingface-cli download meta-llama/Meta-Llama-3-8B --local-dir ./models/llama3-8b ``` 2. 配置模型路径（修改`configs/model_config.yaml`） ```yaml model_name_or_path: "./models/llama3-8b" ``` #### 三、数据准备 1. 创建数据目录 ```bash mkdir -p data/finetune ``` 2. 准备训练数据（示例格式） ```txt {"text": "<s>用户：如何微调大模型？</s><s>助手：请按以下步骤操作..."} {"text": "<s>用户：训练需要多少显存？</s><s>助手：至少需要..."} ``` *建议使用alpaca格式数据集[^4]* #### 四、配置文件修改 修改`configs/train_config.yaml`： ```yaml dataset_name: "finetune" max_seq_length: 2048 per_device_train_batch_size: 2 learning_rate: 2e-5 num_train_epochs: 3 ``` #### 五、启动微调 1. 单卡训练： ```bash llamafactory-cli train \ --model_name_or_path ./models/llama3-8b \ --dataset_path ./data/finetune \ --output_dir ./output ``` 2. 多卡训练（DeepSpeed优化）： ```bash deepspeed --num_gpus=2 src/train_bash.py \ --deepspeed configs/ds_config_zero3.json \ --stage sft \ --model_name_or_path ./models/llama3-8b ``` *Zero3配置可有效降低显存占用[^2]* #### 六、结果验证 1. 启动WebUI测试： ```bash llamafactory-cli webui --model_name_or_path ./output ``` 2. 执行API测试： ```bash llamafactory-cli api examples/inference/llama3.yaml ``` §§注意事项§§ 1. 显存需求：7B模型需至少24GB显存，建议使用LoRA微调 2. 数据格式：支持json/jsonl/txt格式，需包含"text"字段 3. 混合精度训练：建议启用`fp16`或`bf16`模式 [^1]: LLaMA Factory单机微调教程 [^2]: 多卡微调与Zero3优化 : 数据准备与训练命令说明
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

致命扼腕

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值