<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[L1uminous的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/L1uminous</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; L1uminous]]></copyright><item><title><![CDATA[LLM三大并行方式]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155913111</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155913111</guid><author>L1uminous</author><pubDate>Mon, 15 Dec 2025 09:44:55 +0800</pubDate><description><![CDATA[我们把完整的模型复制 4 份，分别放在 4 张卡上。总结：张量并行意味着把模型权重分别放在不同的GPU上，这也就是意味着把模型撕开了，不是按层分开放，而是把层给撕了，也就是两张卡拼起来才是模型的一个层，这更加友好于矩阵，因为可以拆开嘛。所有显卡之间进行通信，把大家的梯度加起来取平均，所有卡使用相同的平均梯度更新参数，保证模型权重始终一致，保证大家的模型更新方向是一致的。总结：每张卡独立前向反向传播，但是在更新梯度时，需要把所有模型的梯度进行相加求和取平均，每张卡的模型使用平均梯度进行更新，保持一致。]]></description><category></category></item><item><title><![CDATA[3D 并行 (3D Parallelism)详解]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155913261</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155913261</guid><author>L1uminous</author><pubDate>Mon, 15 Dec 2025 09:44:04 +0800</pubDate><description><![CDATA[本文通过一个具体场景演示了3D并行策略在训练700亿参数大模型中的应用。系统采用4台服务器(32张A100显卡)，配置为TP=4(单机4卡组处理单层计算)、PP=4(4节点串联处理80层模型)、DP=2(2条流水线并行训练)。文章详细解析了三个维度的协作机制：TP组内高频通信完成矩阵分片计算，PP跨节点传递中间结果实现层间流水，DP通过梯度同步实现数据并行。最终32张卡的配置完美符合3D并行公式(4×4×2=32)，展示了如何通过系统架构设计让大规模计算资源高效协同工作。]]></description><category></category></item><item><title><![CDATA[张量并行 (Tensor Parallelism, TP) 深度解析]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155913237</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155913237</guid><author>L1uminous</author><pubDate>Sun, 14 Dec 2025 14:36:35 +0800</pubDate><description><![CDATA[张量并行(TP)是一种通过拆分矩阵乘法来实现模型并行的方法，尤其适用于Transformer架构。TP将模型权重矩阵切分存储在不同GPU上，每张卡只持有部分参数。在Transformer中，Multi-Head Attention和FFN模块的计算可以被有效切分：先独立计算部分结果，最后通过All-Reduce通信合并完整输出。这种设计使TP在Transformer上特别高效，但也带来较大通信开销。不同于数据并行(每卡有完整模型)和流水线并行(每卡负责部分层)，TP是&quot;模型被打散，每卡只持碎片&q]]></description><category></category></item><item><title><![CDATA[1F1B详细原理流程(使用LLM生成的，但是讲解的挺生动的)]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155913197</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155913197</guid><author>L1uminous</author><pubDate>Sun, 14 Dec 2025 14:34:10 +0800</pubDate><description><![CDATA[摘要： 通过对比GPipe和1F1B流水线并行策略的时序图，展示了3个GPU处理4个微批次的效率差异。GPipe因强制分离前向（F）与反向（B）计算，导致大量闲置时间（气泡）；而1F1B策略通过动态交错F/B任务（如GPU 0的B1-&gt;F4），显著减少气泡，缩短总耗时。1F1B的“热身-稳定”机制（先填充流水线再交替计算）实现了更高硬件利用率，适合资源密集型训练。]]></description><category></category></item><item><title><![CDATA[Lora与QLora]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155675556</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155675556</guid><author>L1uminous</author><pubDate>Sun, 07 Dec 2025 17:45:31 +0800</pubDate><description><![CDATA[首先声明，我也就是草寮的随便写写，有不对的地方，骂轻点。]]></description><category></category></item><item><title><![CDATA[行人重识别论文：PCL-CLIP（论文全文翻译+标注）]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/155564586</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/155564586</guid><author>L1uminous</author><pubDate>Thu, 04 Dec 2025 11:38:43 +0800</pubDate><description><![CDATA[通过网盘分享的文件：PCL-CLIP.docx]]></description><category></category></item><item><title><![CDATA[梯度下降&随机梯度下降]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/145047417</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/145047417</guid><author>L1uminous</author><pubDate>Fri, 10 Jan 2025 09:01:04 +0800</pubDate><description><![CDATA[在每次计算更新时，从所有样本中随机取出一小组样本进行均值损失计算，这样不仅效率上去了，还有可能提前找到最优解，在一定程度上也避免了局部最优解。单个样本计算损失时，预测值与真值之间的差距可能太大，导致损失也过大，这里也用到了求n个样本损失的均值。1、由于计算损失之前遍历所有样本然后计算损失均值，这就导致了执行效率可能会非常的低。上述函数丢了一个平方，不改了，太麻烦了，浪费我时间，大家知道就好。以使用平方损失为例，我们在计算损失时，单个样本的损失计算如下。引入小批量随机梯度下降。2、可能陷入局部最优。]]></description><category></category></item><item><title><![CDATA[linux系统中常用命令]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/144528839</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/144528839</guid><author>L1uminous</author><pubDate>Tue, 17 Dec 2024 10:58:06 +0800</pubDate><description><![CDATA[Linux系统终端常用命令]]></description><category></category></item><item><title><![CDATA[安装DOTA_devkit-master]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/140345825</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/140345825</guid><author>L1uminous</author><pubDate>Thu, 11 Jul 2024 11:06:41 +0800</pubDate><description><![CDATA[安装DOTA_devkit-master,简简单单啦]]></description><category></category></item><item><title><![CDATA[Neck在神经网络中的作用]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/139481285</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/139481285</guid><author>L1uminous</author><pubDate>Wed, 05 Jun 2024 20:21:04 +0800</pubDate><description><![CDATA[neck在神经网络中的作用]]></description><category></category></item><item><title><![CDATA[BatchNormliaztion]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/132341347</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/132341347</guid><author>L1uminous</author><pubDate>Thu, 17 Aug 2023 15:04:04 +0800</pubDate><description><![CDATA[Batch Normalization原理与实战 - 天雨粟的文章 - 知乎 https://zhuanlan.zhihu.com/p/34879333。看了很多，下面这个讲的简单清楚，在看前可配合李宏毅和李沐的视频。]]></description><category></category></item><item><title><![CDATA[ReID中的硬标签和软标签]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/132016213</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/132016213</guid><author>L1uminous</author><pubDate>Mon, 31 Jul 2023 09:48:55 +0800</pubDate><description><![CDATA[软标签是指在训练过程中，每个图像可以有多个可能的类别标签。软标签可以表示图像与多个身份之间的相似度或相关性。软标签可以通过计算图像之间的相似度或使用其他方法来生成。在无监督学习或半监督学习中，软标签常常用于表示图像之间的相似性关系。硬标签是指在训练过程中，每个图像只有一个确定的类别标签。总结起来，硬标签是指每个图像只有一个确定的类别标签，而软标签是指每个图像可以有多个可能的类别标签，用于表示图像之间的相似度或相关性。硬标签和软标签是在ReID（行人再识别）中用于表示图像的标签的两种不同形式。]]></description><category></category></item><item><title><![CDATA[制作ReID数据集的步骤]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/131576299</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/131576299</guid><author>L1uminous</author><pubDate>Thu, 06 Jul 2023 14:39:18 +0800</pubDate><description><![CDATA[3. 行人检测与跟踪：使用行人检测算法（如Faster R-CNN、YOLO等）对图像或视频中的行人进行检测，并使用目标跟踪算法（如SORT、DeepSORT等）进行行人跟踪，以获取每个行人在不同帧中的轨迹信息。7. 数据增强：为了增加数据集的多样性和泛化能力，可以应用一系列数据增强技术，如随机裁剪、翻转、旋转等操作，生成更多的样本。6. 划分训练集和测试集：将数据集划分为训练集和测试集，通常采用交叉验证或随机划分的方式，以便在模型训练和评估时使用。1. 数据采集：收集用于制作ReID数据集的图像或视频。]]></description><category></category></item><item><title><![CDATA[行人重识别]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/131153065</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/131153065</guid><author>L1uminous</author><pubDate>Sun, 11 Jun 2023 14:27:12 +0800</pubDate><description><![CDATA[行人重识别]]></description><category></category></item><item><title><![CDATA[低分辨率行人重识别论文随笔]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/131147507</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/131147507</guid><author>L1uminous</author><pubDate>Sat, 10 Jun 2023 22:37:18 +0800</pubDate><description><![CDATA[低分辨率行人重识别]]></description><category></category></item><item><title><![CDATA[如何更改pip默认镜像源]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/131067247</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/131067247</guid><author>L1uminous</author><pubDate>Tue, 06 Jun 2023 14:33:09 +0800</pubDate><description><![CDATA[global.index-url`选项表示设置`pip`的全局镜像源为清华大学的镜像源。]]></description><category></category></item><item><title><![CDATA[zero-shot]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/131017978</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/131017978</guid><author>L1uminous</author><pubDate>Sat, 03 Jun 2023 13:10:13 +0800</pubDate><description><![CDATA[我们已知马和驴的形态特征，熊猫和企鹅是黑白相间的动物，又已知老虎和鬣狗都是又相间条纹的动物，在此的基础上，我们定义斑马是黑白条纹相间的马科动物。不看任何斑马的照片，仅仅凭借推理，在动物园一众动物中，我们也能够找到斑马。简单概括就是说：利用过去的知识在脑海中推理出新对象的具体形态，zero-shot就是希望能够模仿人类的推理过程，使得计算机具有识别新事物的能力。]]></description><category></category></item><item><title><![CDATA[ReID从头到尾的步骤]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/130858849</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/130858849</guid><author>L1uminous</author><pubDate>Thu, 25 May 2023 04:09:35 +0800</pubDate><description><![CDATA[给定一个感兴趣的行人（query）和一个图像库，我们用当前已经学习好的ReID模型来抽取特征表示，一个检索命中列表可以通过计算query到gallery的相似度来获得。用当前标注的行人图片和视频训练一个判别式的鲁棒的ReID模型。广泛的模型被开发出来处理各种各样的挑战，主要集中在表征学习、度量学习，或者他们的结合。由于较大的跨摄像头的变化，鉴别性ReID模型学习通常离不开数据的标注。这些摄像头通常被安装在变化环境中的不同的位置。很可能，这些原始数据包含了大量的复杂的并且带有噪音的杂乱背景。]]></description><category></category></item><item><title><![CDATA[ReID数据集]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/130858775</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/130858775</guid><author>L1uminous</author><pubDate>Thu, 25 May 2023 03:53:43 +0800</pubDate><description><![CDATA[ReID数据集]]></description><category></category></item><item><title><![CDATA[ReID——简介]]></title><link>https://blog.youkuaiyun.com/L1uminous/article/details/130858746</link><guid>https://blog.youkuaiyun.com/L1uminous/article/details/130858746</guid><author>L1uminous</author><pubDate>Thu, 25 May 2023 02:50:37 +0800</pubDate><description><![CDATA[一句话就是说，跨多个不重叠监控设备检索特定的行人。是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，指通过穿着、体态、发型等在不确定的场景中能够再次识别是同一个人，并以此描绘出个体行进轨迹的AI视觉技术，简而言之，就是通过计算机视觉技术检索不同摄像头下的同一个目标人物。举例：首先拿到原始监控视频，然后对行人进行检测（使用行人检测算法），检测出来，我们就会得到一系列的bounding_boxes，每个人物框都是一张人物图片，可以认为这就组成了一个非常大的图库，]]></description><category></category></item></channel></rss>