- 博客(748)
- 资源 (13)
- 收藏
- 关注
RSS订阅
转载 PyTorch Cookbook（常用代码段整理合集）
本文代码基于PyTorch 1.0版本，需要用到以下包import collectionsimport osimport shutilimport tqdmimport numpy as npimport PIL.Imageimport torchimport torchvision1 基础配置1-1 检查PyTorch版本torch.__version__ ...
2019-04-27 15:58:29
2974
4
原创 Linux常见命令汇总
Linux下统计当前文件夹下的文件个数、目录个数统计当前文件夹下文件的个数，包括子文件夹里的ls -lR|grep "^-"|wc -l统计文件夹下目录的个数，包括子文件夹里的ls -lR|grep "^d"|wc -l统计当前文件夹下文件的个数ls -l |grep "^-&quot
2018-12-06 11:08:08
1626
11
原创 本博客目录及版权申明
【C++ Primer 学习笔记】系列：第一部分 基本语言第二部分 容器和算法 【C++ Primer 学习笔记】： 容器和算法之【顺序容器】 【C++ Primer 学习笔记】： 容器和算法之【关联容器】 【C++ Primer 学习笔记】： 容器和算法之【泛型算法】第三部分 类和数据抽象第四部分 面向对象编程与泛型算法第五部分 高级主题【Java： 23种设计模式】系列 Java： 23
2015-11-25 17:37:30
1526
1
原创 深度学习论文: Autoregressive Pre-training of Large Vision Encoders
跨模态生成架构设计层级化视觉-文本编码器-解码器结构，采用因果掩码机制实现图像块与文本令牌的双向信息流动。视觉编码器结合动态前缀注意力，文本解码器融合SwiGLU激活与RMSNorm归一化，提升跨模态特征交互效率。统一目标函数提出多模态序列生成目标函数，通过像素级MSE（图像）和交叉熵（文本）损失联合优化，α超参数平衡模态监督。突破传统对比学习局限，直接通过生成任务增强跨模态语义一致性。高效训练策略采用混合精度训练与动态序列打包技术，在120亿图文对上实现高效训练。
2025-04-02 14:53:03
110
原创 深度学习论文: OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels
自上而下的注意力在人类视觉系统中至关重要，大脑先概览场景找线索，再细察详情。但现代卷积神经网络（ConvNets）采用金字塔结构扩大感受野，忽略了这一仿生原理。本文提出了 OverLoCK，这是首个明确融入自上而下注意力机制的纯卷积神经网络骨干架构。与金字塔骨干网络不同，本文的设计采用了一种分支架构，包含三个协同工作的子网络：1）基础网络（Base - Net），用于编码低 / 中层特征；
2025-04-02 10:39:26
37
原创 深度学习论文: Image Segmentation Using Text and Image Prompts
本文以CLIP模型为骨干网络，扩展了基于Transformer的解码器以实现密集预测。在扩展版PhraseCut数据集训练后，系统可根据自由文本提示或表达查询的附加图像生成图像二值分割图。本文详细分析了基于图像提示的不同变体，这种新型混合输入方式不仅支持上述三类分割任务，还适用于任何可通过文本或图像查询定义的二值分割任务。实验表明，该系统能有效适应涉及功能属性或物理特性的广义查询。核心创新点统一多任务框架：通过单模型解决三类分割任务，突破传统方法的类别限制动态提示机制。
2025-03-26 17:29:28
215
原创 深度学习论文: Transformers without Normalization
归一化层在现代神经网络中广泛应用且长期被视为不可或缺的组件。本研究突破性地证明，通过一种极为简洁的技术，无需归一化层的 Transformer 模型即可达到甚至超越传统架构的性能。本文提出动态双曲正切模块 DyT（Dynamic Tanh），其逐元素操作定义为 DyT (x) = tanh (αx)，可直接替代 Transformer 中的归一化层。这一设计源于对 Transformer 中 LayerNorm 层普遍呈现类 tanh 型 S 曲线输入输出映射的观察。
2025-03-25 16:57:10
651
原创 深度学习论文: General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model
在 OCR 技术领域，传统方法与基于大型视觉语言模型（LVLM）的方案难以满足人们对光学字符处理日益多元的需求。为突破这一困境，我们创新提出通用 OCR 理论 ——OCR - 2.0，旨在构建新型 OCR 模型，推动该技术迈向新高度。端到端架构：摒弃传统 OCR - 1.0 模型复杂的多模块流水线，采用统一架构，简化流程，降低维护成本，让初学者也能轻松掌握，极大提升系统易用性与扩展性。
2025-03-24 16:24:01
159
原创 深入理解 Re-parameterizable RegionText Alignment (RepRTA) 技术
Re - parameterizable RegionText Alignment（RepRTA）技术通过创新的重新参数化方法，为文本与图像区域对齐问题提供了一种高效、准确的解决方案。它在模型架构设计上的突破，带来了性能的显著提升，在多个实际应用场景中展现出巨大的潜力。展望未来，随着计算机视觉和自然语言处理技术的不断发展，RepRTA有望在更广泛的领域得到应用和拓展。例如，结合新兴的多模态预训练模型，进一步提升其在复杂场景下的性能；
2025-03-20 16:17:10
635
原创 Hugging Face 模型格式全解析：从 PyTorch 到 GGUF
Hugging Face 生态支持多种模型格式，以满足不同场景下的存储、部署和推理需求。以下是主流格式的技术解析与演进脉络：Hugging Face 模型格式的演进体现了安全性、效率和兼容性的平衡：根据需求选择格式：追求安全用 ，本地部署用 ，深度集成 PyTorch 则保留 。
2025-03-20 10:02:32
702
原创 YOLOE:Real-Time Seeing Anything 让 AI 像人类眼睛一样 “看见一切”！
比如训练时教它认“汽车”和“行人”，遇到没见过的“无人机”或“外星生物”就彻底懵圈。传统YOLO就像戴着一副“预设眼镜”，只能看到预先定义的物体。而。
2025-03-14 10:01:57
371
原创 低光图像增强新突破！HVI 色彩空间 + CIDNet 网络如何攻克红黑噪声难题？
低光照图像增强（LLIE）作为计算机视觉领域的核心任务，旨在从退化的暗光图像中恢复清晰细节。传统基于标准 RGB（sRGB）空间的增强方法，由于对颜色变化过于敏感，常导致图像出现明显的色彩偏移和亮度失真。尽管转换到 HSV（色调 / 饱和度 / 明度）空间能部分改善亮度问题，但却引发了更为棘手的红色区域断层和暗部噪声放大问题。针对这一挑战，本文创新性地提出了专为低光增强设计的 HVI（水平 - 垂直 - 强度）色彩空间。极化 HS 平面。
2025-03-13 17:04:06
107
原创 深度学习论文: D-FINE: Redefine Regression Task of DETRs as Fine-grained Distribution Refinement
在实时目标检测领域发展日新月异的当下，D - FINE 以一种极具革新性的姿态横空出世。它犹如一把利刃，显著突破了现有模型的性能瓶颈，这些模型涵盖了如 YOLOv10、YOLO11 以及 RT - DETR v1/v2/v3 等业内知名的目标检测模型，大幅提升了实时目标检测的性能上限。D - FINE 在大规模数据集 Objects365 上完成预训练后，展现出了令人惊叹的实力。它将竞争对手 LW - DETR 远远甩在身后，在 COCO 数据集上更是斩获了高达 59.3% 的平均精度（AP）。
2025-02-25 13:49:07
86
原创 自动驾驶的等级划分
自动驾驶等级是衡量汽车自动化程度的标准，目前广泛采用的是由美国汽车工程师协会（SAE）和国际标准化组织（ISO）制定的分级标准，将自动驾驶分为 0 到 5 级，各级别的区别主要体现在人类驾驶员和自动驾驶系统的职责分配上。
2025-02-21 14:30:45
585
原创 深度学习论文: YOLOv12: Attention-Centric Real-Time Object Detectors
在目标检测领域，YOLO 系列算法凭借在延迟与准确率间的出色平衡占据主导地位。尽管其改进涉及多个方面，但网络架构设计始终是研究的关键方向。近年来，以注意力为核心的视觉 Transformer（ViT）架构展现出强大建模能力，然而多数架构设计仍聚焦于卷积神经网络（CNN）。这是因为注意力机制存在效率问题，包括二次计算复杂性和低效的内存访问操作，这极大限制了其在对推理速度要求高的 YOLO 系统中的应用。
2025-02-20 10:57:44
159
原创 深度学习论文: RailYolact -- A Yolact Focused on edge for Real-Time Rail Segmentation
为了解决模型预测的铁轨掩码边缘粗糙的问题，本文将边缘算子提取的边缘信息融入原始 Yolact 的损失函数中，以强调模型对铁轨边缘的关注。此外，本文应用盒式滤波器对线性插值导致的真实标签掩码边缘锯齿进行平滑处理。由于边缘信息的融入和平滑处理过程仅在训练阶段进行，因此模型的推理速度并未受到影响。本文在自定义铁轨数据集上的实验结果显示，预测准确率有所提高。
2025-02-17 13:18:01
340
原创 深度学习论文: Depth Any Camera: Zero-Shot Metric Depth Estimation from Any Camera
在计算机视觉领域，实现跨任意视场角相机的零样本深度泛化工作颇具挑战性，具体体现在以下几个方面：其一，需选取统一的相机模型来精准表示不同的视场角；其二，要有效利用透视训练数据集，使其能够泛化到仅在大视场角相机中可见的数据空间；其三，要应对因不同视场角导致的统一空间中训练图像大小显著差异的问题；其四，需处理训练和测试阶段之间存在的分辨率不一致问题。针对上述挑战，本文提出了深度任意相机（DAC）这一创新性的零样本度量深度估计框架。
2025-02-14 16:45:43
68
原创 RandAugment、AugMix和AutoAugment三者对比
方法策略生成方式计算成本迁移能力适用场景强化学习搜索极高弱高精度需求、资源充足随机选择+参数控制低强快速训练、通用场景AugMix多增强链混合+一致性损失中等较强鲁棒性要求高、对抗噪声场景通过结合不同方法的优势，实际应用中可根据任务需求灵活选择或组合（如RandAugment与AugMix混合使用）。
2025-02-12 16:26:50
496
原创 深度学习论文: Is Cosine-Similarity of Embeddings Really About Similarity?
深度学习论文: Is Cosine-Similarity of Embeddings Really About Similarity?Is Cosine-Similarity of Embeddings Really About Similarity?PDF:https://arxiv.org/pdf/2403.05440v1PyTorch代码: https://github.com/shanglianlm0525/CvPytorchPyTorch代码: https://github.com/sha
2025-02-05 14:20:30
76
原创 深度学习论文: TinySAM: Pushing the Envelope for Efficient Segment Anything Model
最近，分割任意模型（SAM）凭借其强大的分割能力，在计算机视觉领域引发广泛关注，众多基于预训练 SAM 的后续工作开发出各种应用，于下游视觉任务中性能斐然。然而，SAM 架构复杂，对计算资源需求大，这严重限制了它在计算资源受限的边缘设备上的应用。为解决这一问题，进一步推动高效分割任意模型的发展，本文提出了一个完整框架以构建轻量级的分割任意模型 TinySAM，使其在最大程度保留强大零样本性能的同时，大幅降低计算成本。硬挖掘全阶段知识蒸馏。
2025-01-14 14:51:46
167
原创 深度学习论文: CAS-ViT: Convolutional Additive Self-attention Vision Transformers
在相关研究中，视觉 Transformer（ViT）虽凭借 token mixer 的强大全局上下文能力取得了显著进展，但也面临着 token mixer 中矩阵操作（如 Softmax）复杂度高，以及在移动设备或实时应用中难以兼顾准确性、效率和易部署性等问题。为解决这些问题，研究者提出了卷积加性自注意力（CAS）-ViT 这一轻量级网络家族。首先，研究者认为 token mixer 获取全局上下文信息依赖于空间域和通道域等多维度的信息交互。
2025-01-14 11:34:13
107
原创 深度学习论文: PatchRefiner V2: Fast and Lightweight Real-Domain High-Resolution Metric Depth Estimation
当前高分辨率深度估计方法存在计算效率低、推理时间长的问题。以 PatchRefiner（PR）为例，它采用分块策略获取高分辨率输出，但在实际应用中面临挑战。由于其使用相同架构提取特征，对于单个高分辨率输入，基础模型需至少进行 17 次前向传递，这导致推理时间长、内存需求高，只能采用分阶段训练，效果欠佳。
2025-01-06 15:20:09
72
原创 深度学习论文: Orient Anything: Learning Robust Object Orientation Estimation from Rendering 3D Models
物体方向是理解其在图像中空间姿态和排列的核心属性，然而，从单张图像中准确估计方向的实用解决方案仍未被充分探索。本文提出了Orient Anything，这是首个专门设计用于在单张和自由视角图像中估计物体方向的专家和基础模型。针对标注数据稀缺的问题，本文创新性地从3D世界中提取知识，开发了一套自动化流程，通过标注3D物体的前表面并从随机视角渲染图像，生成了200万张带有精确方向标注的图像数据集。
2025-01-02 14:30:15
91
原创 DeepSeek-V3 技术报告
本文介绍了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 6710 亿，每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了多 token 预测训练目标，以提升性能。
2024-12-31 17:11:57
3187
原创 深度学习中的并行策略概述：4 Tensor Parallelism
首先定义了一个简单的模型 SimpleModel，它包含两个全连接层。然后，本文使用 torch.distributed.device_mesh 初始化了一个设备网格，这代表了本文想要使用的 GPU。接着，本文定义了一个 parallelize_plan，它指定了如何将模型的层分布到不同的 GPU 上。最后，本文使用 parallelize_module 函数将模型和计划应用到设备网格上，以实现张量并行。深度学习中的并行策略概述：4 Tensor Parallelism。
2024-12-26 09:45:19
407
原创 深度学习论文: RemDet: Rethinking Efficient Model Design for UAV Object Detection
无人机(UAV)图像中的目标检测正成为研究热点，但面临两大难题：目标小而密集，以及计算资源受限导致模型难以实时部署。当前实时检测器未针对无人机图像优化，且小物体检测方法往往缺乏实时性。为应对这些挑战，本文推出了RemDet（重参数高效乘法检测器）。识别挑战：本文深刻认识到小型密集无人机图像对检测器的挑战，提出将信息损失作为设计高效模型的关键考量。增强小目标检测：引入ChannelC2f模块，通过高维表示有效减轻信息丢失，提升小目标检测性能。
2024-12-26 09:43:46
582
原创 深度学习中的并行策略概述：3 Pipeline Parallelism
首先，定义了一个 ModelArgs 类来存储模型参数，然后创建了一个 Transformer 类，它继承自 nn.Module 并包含了嵌入层、Transformer解码层、层归一化和输出线性层。接着，定义了一个 init_distributed 函数来初始化分布式环境，并设置了进程组和设备。在主函数中，初始化了分布式环境，创建了模型和虚拟数据，并将模型手动分割为两个阶段。然后，将模型和数据移动到指定的设备上，并定义了一个损失函数。代码中还包含了一个销毁进程组的步骤，以确保在程序结束时正确清理资源。
2024-12-25 08:41:43
544
原创 深度学习论文: DEIM: DETR with Improved Matching for Fast Convergence
目标检测在自动驾驶和机器人导航等领域至关重要，而YOLO因其速度快和准确性高而成为主流的实时检测工具。然而，YOLO的一对多锚点策略会导致多个重叠的边界框，需要非极大值抑制（NMS）来减少冗余，这增加了计算延迟和不稳定性。DETR模型通过一对一匹配策略避免了NMS，但它们的慢速收敛和低质量匹配限制了性能。为了解决这些问题，本文提出了一种新的密集一对一（Dense O2O）匹配策略，它通过增加训练图像中的目标数量来生成更多的正样本，从而提供与一对多策略相当的监督水平，而无需增加额外的计算负担。
2024-12-25 08:38:23
521
原创 深度学习中的并行策略概述：2 Data Parallelism
深度学习中的并行策略概述：Data Parallelism数据并行（Data Parallelism）的核心在于将模型的数据处理过程并行化。具体来说，面对大规模数据批次时，将其拆分为较小的子批次，并在多个计算设备上同时进行处理。每个设备负责处理一个子批次，实现并行计算。处理完成后，将各个设备上的计算结果汇总，以便对模型进行统一更新。由于其在深度学习中的普遍应用，数据并行成为了一种广泛支持的并行计算策略，并在主流框架中得到了良好的实现。
2024-12-24 09:05:19
455
原创 深度学习论文: RHO-1: Not All Tokens Are What You Need
扩大模型参数和数据集规模显著提升了大型语言模型的预测准确性，推动了人工智能的发展。然而，训练所有可用数据并不总是最佳或可行的选择，因此数据过滤变得重要，使用启发式方法和分类器来选择训练文档，以提高数据质量和模型性能。尽管进行了文档级过滤，高质量数据集仍包含许多噪声令牌，可能对训练产生负面影响。去除这些令牌可能会改变文本含义，而过于严格的过滤可能排除有用数据并导致偏见。研究表明，网络数据的分布并不自然地与下游应用的理想分布对齐，例如，常见的语料库可能包含不受欢迎的内容，如幻觉或难以预测的模糊令牌。
2024-12-19 11:01:09
225
原创 Samba软件安装与配置指南
通过上述步骤，您已经成功安装并配置了Samba服务器，使其能够共享指定的目录给其他用户访问。请注意，在生产环境中，应根据实际需求调整文件权限和SELinux设置，以确保系统的安全性。SELinux（Security-Enhanced Linux）可能会阻止Samba的正常运行。在Windows系统中，可以通过文件资源管理器访问共享目录。在提示时输入并确认用户的Samba密码。，即可浏览和访问配置好的共享文件夹。保存并退出编辑器（在vim中按。编辑Samba的主配置文件。
2024-12-17 13:07:46
314
原创 深度学习论文: EfficientViT: Multi-Scale Linear Attention for High-Resolution Dense Prediction
当前，顶尖的高分辨率密集预测模型所需的计算资源庞大，而大多数硬件设备所能提供的计算资源相对有限，这构成了模型部署的一大障碍。具体而言，模型的复杂度与硬件资源之间的不匹配，使得这些高效模型难以在实际环境中得到广泛应用。此外，高分辨率密集预测模型的有效运行还依赖于对高分辨率图像的准确解析以及强大的上下文信息提取能力。然而，直接将图像分类领域的成功模型架构应用于高分辨率密集预测任务，往往因不适应高分辨率图像处理的特殊要求而效果不佳。
2024-12-11 16:36:09
64
原创 深度学习论文: Efficient Track Anything
本文探讨了简化的非层级图像编码器在视频对象分割和目标追踪中的应用。提出了利用轻量级ViT图像编码器（如ViT-Tiny/-Small）来简化SAM 2，同时保持高效性能。此外，引入了一种高效的跨注意力机制来优化内存模块，这一机制利用了内存空间标记的局部特性，以粗略的内存空间标记作为执行跨注意力的有效代理。实验结果表明，这种方法是原始内存模块的一个有效替代。在视频和图像分割基准测试中进行了广泛的实验评估，包括MOSE、DAVIS、LVOS、SA-V和SA-23。
2024-12-11 11:26:33
207
原创 深度学习论文: MamKPD: A Simple Mamba Baseline for 2D Keypoint Detection
受Mamba在计算机视觉领域的成功应用的启发，本研究首次深入挖掘了Mamba在二维关键点检测任务中的潜力。然而，传统的Mamba块在状态更新时仅关注图像块的聚合，这在一定程度上限制了其捕捉上下文特征（即块间依赖关系）的能力。考虑到上下文信息对于关键点检测至关重要，因为它能让模型学习到实例的结构信息，块之间的关系不容忽视。为解决这一挑战，本文提出了一种全新的二维关键点检测框架——MamKPD，这也是首个基于Mamba的二维关键点检测基线网络。
2024-12-10 11:10:15
95
原创 将包含Python和C++文件的源代码打包成wheel安装文件并使用pip进行安装
编译器和构建工具：由于你的项目中包含C++文件，你需要一个C++编译器（如gcc或clang）以及相关的构建工具（如make或cmake，具体取决于你的项目构建系统）。编写setup.py：在你的项目根目录下创建一个setup.py文件。确保你的项目中所有依赖的Python包和C++库都已经正确安装，并且在setup.py文件中正确配置。在打包和安装之前，最好先在你的开发环境中测试你的项目，确保它能够正常工作。构建wheel文件：在你的项目根目录下，运行以下命令来构建wheel文件。
2024-12-09 15:45:26
384
原创 VS2022 CMake 配置和构建ZXing C++
适用于 .NET Framework MSBuild 版本 17.7.2+d6990bcfa。使用git克隆zxing-cpp仓库，这是一个C++版本的ZXing二维码处理库。构建zxing-cpp项目，使用8个核心并行构建，并指定Release配置。使用cmake生成zxing-cpp项目的Release配置构建文件。
2024-12-04 16:41:47
1139
原创 深度学习论文: Rewrite the Stars
在神经网络设计的广阔领域中，星操作（即元素级乘法）作为一种具有潜力的技术手段，尚未被充分发掘其应用潜力。尽管星操作已拥有直观的解释，但其在实际应用中所依据的理论基础尚待深入剖析。此外，星操作还具备将输入数据映射至高维非线性特征空间的能力，这一特性与核技巧相似，但无需额外增加网络的宽度。本文创新性地提出了StarNet原型网络，该网络充分利用了星操作的独特优势。StarNet在紧凑的网络架构和有限的计算资源下，展现了卓越的性能和低延迟特性。
2024-12-03 13:36:44
88
原创 深度学习论文: FUN-AD: Fully Unsupervised Learning for Anomaly Detection with Noisy Training Data
尽管异常检测领域的主流研究方向倾向于采用一类分类方法，但在实际的工业生产环境中，训练数据往往因标注错误或新产品、翻新品的标签缺失而遭受噪声污染。针对这些挑战，本文创新性地提出了一种完全无监督的异常检测方法，该方法特别适用于处理未经标注且可能含有噪声的训练数据集。本文的方法构建在两个核心观察之上：通常情况下，正常样本之间的特征距离（以成对方式计算）平均值会小于异常样本或不同类别样本之间的距离。基于这一观察，本文认识到最近邻距离可以作为区分正常样本与异常样本的有效手段。
2024-12-02 16:59:13
91
CUDA C编程权威指南
2019-05-02
CUDA并行程序设计 GPU编程指南
2019-05-02
linux下安装Anaconda3+pytorch+tensorboardX依赖包
2019-03-23
Quartz 示例代码
2017-05-02
Java反射机制代码
2017-05-01
java反射示例代码
2017-05-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人