- 博客(32)
- 收藏
- 关注
RSS订阅原创 算法论文/数据集5——AlignPrune(CVPR2026)基于样本损失时间序列精确识别噪声样本
通过计算每个样本的损失时间序列与干净参考集平均损失轨迹之间的 Pearson 相关性，精准区分"困难但干净"与"真正噪声"样本，作为即插即用模块无缝集成到 InfoBatch、SeTa 等现有动态剪枝方法中，在噪声标签场景下实现显著性能提升。
2026-09-02 17:57:34
383
原创 算法论文/数据集4——SeTa(CVPR2025)压缩数据集并提升精度，基于infobatch再次进化
SeTa 提出即插即用的动态数据剪枝框架，通过均匀下采样、按损失聚类分层和滑动窗口课程式选择，在不修改模型结构的情况下减少 30–50% 训练数据，仍保持甚至提升精度。
2026-09-02 17:50:29
363
原创 算法论文/数据集3——CLD(TMLR2025)压缩训练集,仅保留对验证集有益的样本
CLD通过计算训练样本与同类验证集在训练过程中损失差分轨迹的Pearson相关性，筛选高相关样本构成coreset。仅依赖逐样本损失标量，无需梯度或特征，具备收敛性理论保证
2026-09-02 16:59:31
374
原创 算法论文/高效微调5——YOLO大量实验后发现，不是所有Conv都能使用LORA
YOLO-PEFT论文提出了一种针对YOLO系列目标检测器的参数高效微调框架，通过结构化约束规划系统自动确定LoRA等PEFT模块的安全插入位置。该框架解决了传统方法在异构检测器架构（如分组卷积、深度卷积、DFL投影等）上直接应用PEFT时出现的"静默失败"问题。通过六层约束体系（算子有效性、语义安全性、图接口、架构策略、预算可行性和可靠性校准）进行模块筛选，并引入"拒绝"机制避免无效训练。实验表明，该方法在保持模型性能的同时显著减少可训练参数量（如YOLO11s仅需0.2M参数即可达到接近全量微调的效果）
2026-08-17 11:44:08
414
原创 算法论文/数据集2——InfoBatch浓缩的才是精华，保持精度且训练集减半
论文摘要： InfoBatch提出了一种无偏动态数据剪枝框架，通过软剪枝（随机丢弃低损失样本）、期望缩放（梯度补偿）和退火机制（末阶段全量训练）实现无损训练加速。相比静态剪枝（如EL2N）和动态硬剪枝方法，InfoBatch避免了梯度期望偏差，在CIFAR、ImageNet等任务中节省20%~40%计算量且精度无损。其核心创新在于：1）随机剪枝保留样本多样性；2）理论证明梯度缩放可维持更新期望；3）仅需均值计算，复杂度O(1)。实验涵盖分类、分割、扩散模型和LLM微调，验证了通用性和零额外开销优势。
2026-08-13 17:17:30
358
原创 算法论文/高效微调4——DoRA：权重分解的低秩适配方法
DoRA：权重分解的低秩适配方法（论文摘要） 本文提出了DoRA（Weight-Decomposed Low-Rank Adaptation），一种改进的低秩适配方法，通过解构预训练权重为大小和方向两个组件进行独立优化。研究发现，全量微调(FT)与标准LoRA在学习模式上存在本质差异：FT呈现方向与大小更新的负相关性，而LoRA则表现出正相关趋势。基于此，DoRA将方向更新交由LoRA处理，同时单独优化大小向量，实现了与FT相似的负相关学习模式。实验证明，DoRA在不同模型架构（LLaMA、VL-BART等
2026-08-10 14:49:43
336
原创 算法论文/高效微调3——CNN架构转为低秩版本后训练又快又好
本文提出ELRT，一种高效低秩训练方法，用于直接从头训练紧凑的卷积神经网络。与传统的低秩压缩方法不同，ELRT无需预训练全秩模型，操作门槛和训练成本更低。现有低秩训练方法面临精度下降或仍需更新全尺寸模型的问题。ELRT通过三个关键设计解决这些问题：（1）采用高阶Tucker-2张量格式保留空间相关性；（2）引入正交性感知训练提升性能；（3）选择双软正交（DSO）正则化方案。实验表明，ELRT在多种CNN架构和数据集上优于现有方法，实现了高精度和高效训练。
2026-08-06 10:32:03
376
原创 算法论文/高效微调2——仅骨干1%～3% 参数达到与全量微调相当的性能
本文提出LoRand，一种参数高效的视觉模型微调方法，通过低秩合成和多分支共享机制，在密集预测任务上仅训练1%-3%的骨干参数即可达到全量微调性能。实验表明，在COCO、ADE20K等数据集的目标检测、实例分割任务中，LoRand显著降低存储开销（节省93%参数），在低资源场景下甚至超越全量微调。该方法创新性地将NLP领域的Adapter思想引入CV任务，通过核矩阵共享和低秩投影实现了性能与效率的平衡，为大规模视觉模型部署提供了实用解决方案。
2026-08-06 09:25:41
361
原创 算法论文/高效微调1——CNN架构做lora微调训练
本文提出了一种针对大卷积模型的参数高效微调方法。通过将卷积核分解为滤波器原子和原子系数两个组件，微调时仅需调整少量滤波器原子（约占总参数0.004%），从而显著降低计算成本。该方法创新性地保留了卷积层的空间结构特性，避免了传统方法（如LoRA）需将卷积核展平为矩阵的缺陷。实验表明，该方法在判别式和生成式任务上均优于现有基线，且可通过递归分解扩展可调参数空间。该方法计算高效，能与现有微调技术互补使用，为大卷积模型的轻量化微调提供了新思路。
2026-08-05 17:17:20
334
原创 【算法实战】DEIMv2训练全流程复现，官方仓库避坑！
详细记录了目标检测新SOTA模型DEIMv2的复现过程。首先使用micromamba创建Python 3.11.9环境，安装PyTorch 2.1.0+cu118和TorchVision 0.16.0+cu118等依赖库。随后配置COCO数据集路径，通过多卡训练命令启动模型训练。文章提供了完整的配置修改说明、训练命令和预训练模型下载建议，并附有各步骤的截图说明。整个过程涵盖了从环境搭建到模型训练的全流程，为研究者复现该模型提供了实用参考。
2026-04-03 10:25:40
518
3
原创 算法论文/模型集成1——未来集成多个模型时，仅需推理一次！
Model soups to increase inference without increasing compute time
2025-02-20 17:11:59
901
原创 解决docker: Error response from daemon: could not select device driver ““ with capabilities: [[gpu]].
4步解决docker容器无法调用gpu的报错 docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].
2025-01-24 09:56:45
8825
5
原创 算法论文/部署加速1——你的Transformer其实可以更快！量化Transformer的方法(2024最新综述)
量化Transformers的方法，Model Quantization and Hardware Acceleration for Vision Transformers: A Comprehensive Survey
2024-12-28 16:18:02
2651
原创 算法论文/目标检测4——介绍DETR家族到DINO的发展史
2023DETR综述：Object Detection with Transformers: A Review
2024-12-28 14:59:58
2798
原创 算法论文/半监督1——2024最新半监督目标检测综述(CNN和Transformer)全文1.5W字
Semi-Supervised Object Detection: A Survey on Progress from CNN to Transformer
2024-12-10 10:03:43
3595
原创 算法论文/预训练1——NeurIPS 2022巨型预训练图像模型能否提取通用表征？中科大、西安交大、微软亚洲研究院出品
Could Giant Pretrained Image Models Extract Universal Representations?
2024-12-06 17:14:54
1858
原创 算法论文/目标检测3——D-FINE: REDEFINE REGRESSION TASK IN DETRS AS FINE-GRAINED DISTRIBUTION REFINEMENT
D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement 包括两个关键组成部分：细粒度分布细化 （FDR） 和全局最优定位自蒸馏 （GO-LSD）。
2024-10-30 11:14:02
3190
2
原创 算法论文/目标检测2——RT-DETRv3: Real-time End-to-End Object Detection with Hierarchical Dense Positive
RT-DETRv3引入了一个基于 CNN 的辅助分支，提供密集监督，与原始解码器协作以增强编码器特征表示。其次，为了解决解码器训练不足的问题，我们提出了一种涉及自注意力扰动的新型学习策略。该策略使多个查询组中的正样本的标签分配多样化，从而丰富了正监督。此外，我们引入了一个共享权重解码器分支进行密集正监督，以确保更多高质量查询与每个基本事实匹配。
2024-09-20 17:14:58
4374
3
原创 算法论文/目标检测1——RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer
为了提高灵活性，我们建议在可变形关注中为不同尺度的特征设置不同数量的采样点，以实现解码器选择性的多尺度特征提取。为了提高实用性，我们提出了一个可选的离散采样算子来取代 YOLO 特定于 RT-DETR 的 grid_sample 算子
2024-09-20 16:27:33
3283
原创 算法论文/数据集1——数据集蒸馏得更小！Dataset Distillation: A Comprehensive Review
海量数据大大增加了存储和传输的负担，并进一步导致了繁琐的模型训练过程。引入了数据集蒸馏 （DD），也称为数据集压缩 （DC），DD 旨在推导出一个包含合成样本的更小的数据集，在此基础上，经过训练的模型产生的性能与在原始数据集上训练的模型相当。
2024-09-19 14:56:48
3469
原创 算法论文/自监督2——2024年8月13日最新的MIM综述论文Masked Image Modeling: A Survey
在这项工作中，我们调查了最近关于掩码图像建模（MIM）的研究，这种方法在计算机视觉中成为一种强大的自我监督学习技术。MIM 任务涉及屏蔽一些信息，例如像素、补丁甚至潜在表示，并训练模型（通常是自动编码器）以使用输入可见部分中可用的上下文来预测缺失的信息。我们确定并正式确定了如何将 MIM 作为借口任务实施的两类方法，一种基于重建，另一类基于对比学习。然后，我们构建了一个分类法并回顾了近年来最突出的论文。我们用通过应用分层聚类算法获得的树状图来补充手动构建的分类法。
2024-09-14 14:52:37
3558
原创 算法论文/自监督1——CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks
一起阅读CNN的JEPA算法论文，CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture 成功地将联合嵌入预测架构方法应用于CNN
2024-09-09 20:35:54
1731
原创 【避坑经验】训练CNN的MAE——自监督SparK预训练Designing BERT for Convolutional Networks
实现的预训练方法简称为SparK，在配置环境中有一些坑，分享一些经验
2024-08-21 15:08:47
856
原创 Python通过OpenVINO调用Intel GPU推理YOLOv8模型
Python通过OpenVINO调用Intel GPU推理YOLOv8模型
2024-08-09 17:36:33
2321
10
原创 使用Graphviz进行Python项目代码可视化：理解各类函数调用关系及耗时
使用Graphviz工具进行项目代码可视化，更好地理解Python项目的运行逻辑，直观展示陌生项目各类方法之间的调用关系，
2023-12-22 17:11:33
4488
原创 python 扑克记牌器 windows软件 pytorch|计算机视觉|深度学习
单人基于python\深度学习\PYQT开发windows软件—扑克记牌器
2023-10-18 15:13:35
1460
2
原创 3分钟解决报错NVIDIA_SMI has failed because it couldn’t communicate with the NVIDIA driver.
有时在重启机器后，nvidia-smi之后会显示nvidia驱动丢失，这是由于linux内核升级，之前的nvidia驱动就不匹配。报错。
2022-12-10 15:44:46
21853
13
原创 解决报错RUNTIMEWARNING: GLYPH 27979 MISSING FROM CURRENT FONT. FONT.SET_TEXT(S, 0, FLAGS=FLAGS)
解决报错RUNTIMEWARNING: GLYPH 27979 MISSING FROM CURRENT FONT. FONT.SET_TEXT(S, 0, FLAGS=FLAGS)需要下载字体包https://www.freesion.com/article/80011281764/
2022-04-20 17:23:42
1120
原创 安装mmsegmentation经验-ubuntu18.0.4
@安装mmsegmentation经验-ubuntu18.0.4在安装mmseg过程中遇到了很多版本不兼容的问题，最后成功了，分享一点经验。服务器状态我使用的显卡是3090，显卡驱动是470.94，cuda版本是11.4建立虚拟环境建立环境不必多说，我这里使用的是python3.8安装mmcv-full我之前使用的torch1.8.1，在mmcv-full的版本对应表没有cuda11.4的命令(目前我的cuda是最新的)。我借鉴其他版本的mmcv-full命令,修改对应cu***和torch*
2022-01-10 19:14:15
1928
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人