<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[cshsjdh的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/cshsjdh</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cshsjdh]]></copyright><item><title><![CDATA[基于 OpenVINO 优化的 GroundingDINO + EfficientSAM 视频分割追踪]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/156168462</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/156168462</guid><author>cshsjdh</author><pubDate>Mon, 22 Dec 2025 23:13:00 +0800</pubDate><description><![CDATA[本文提出了一种基于文本驱动的视频目标分割与追踪系统，通过自然语言描述实现视频中任意目标的定位、分割和追踪。系统采用GroundingDINO进行开放词汇目标检测，EfficientSAM实现高效分割，结合光流追踪技术保证目标ID一致性。通过OpenVINO+NNCF加速推理，性能提升8.4倍（0.34FPS→2.84FPS）。创新性地设计了三级帧调度策略（检测帧/分割帧/传播帧）减少冗余计算，并引入光流追踪机制解决目标匹配问题。实验表明，该系统在保持精度的同时显著提升了处理效率，为视频分析任务提供解决方案]]></description><category></category></item><item><title><![CDATA[解决开放世界目标检测问题——Grounding DINO]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/155678643</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/155678643</guid><author>cshsjdh</author><pubDate>Sun, 07 Dec 2025 22:38:31 +0800</pubDate><description><![CDATA[摘要：GroundingDINO创新性地结合Transformer架构与跨模态理解，实现了开放世界目标检测。该模型通过自然语言提示直接定位图像中任意物体，无需预定义类别或重新训练。其技术核心在于图文预训练，将语言概念映射到视觉特征，包含文本编码器、图像编码器、特征融合等模块。GroundingDINO支持单图/批量检测、图像编辑（结合StableDiffusion）及像素级分割（配合SAM），显著提升了数据标注效率和AI视觉理解能力，突破了传统检测模型的封闭类别限制。]]></description><category></category></item><item><title><![CDATA[动手搭建Flamingo（VQA）]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/155616574</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/155616574</guid><author>cshsjdh</author><pubDate>Fri, 05 Dec 2025 20:55:36 +0800</pubDate><description><![CDATA[Flamingo是一个创新的多模态语言模型，旨在解决传统视觉-语言模型在少样本学习和跨任务适应性上的局限。它通过结合CLIP视觉编码器和自回归语言模型，并引入感知重采样器和门控跨注意力层，实现了视觉与文本特征的有效融合。该模型支持上下文学习，仅需少量示例即可适应新任务，无需重新训练。基于Streamlit实现的交互式问答系统展示了Flamingo在实际应用中的潜力，能够处理图像描述、视觉问答等多种多模态任务，显著降低了任务适配成本。]]></description><category></category></item><item><title><![CDATA[ActionCLIP：clip下微调的视频动作识别]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/154847371</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/154847371</guid><author>cshsjdh</author><pubDate>Fri, 14 Nov 2025 20:44:06 +0800</pubDate><description><![CDATA[ActionCLIP提出了一种新的动作识别范式，将任务建模为视频-文本匹配问题。该方法利用标签文本的语义信息，通过多模态对比学习增强视频表示能力。框架包含视频和文本编码器，使用余弦相似度计算匹配得分，支持零样本识别而无需额外标注数据。实验在UCF101数据集上达到97%以上的准确率。文章详细介绍了模型架构、训练流程、提示工程方法，并提供了完整的实现代码和可视化工具，支持批量视频处理和预测结果展示，为动作识别任务提供了新的解决方案。]]></description><category></category></item><item><title><![CDATA[ATPrompt：基于属性的视觉提示]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/154279876</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/154279876</guid><author>cshsjdh</author><pubDate>Sun, 02 Nov 2025 10:47:13 +0800</pubDate><description><![CDATA[针对传统提示学习存在的泛化能力不足问题，提出创新解决方案。该方法通过引入可微分属性搜索机制，将软提示学习空间从单一类别扩展到多维属性层面。核心贡献包括：（1）采用softmax加权求和的连续属性搜索策略；（2）通过双层优化联合学习属性权重和软提示标记。实验表明，在Caltech101和Stanford Cars数据集上，ATPrompt显著提升了CoOp基线的性能。项目提供完整PyTorch实现，包含环境配置、数据集准备和训练测试流程，支持基类训练和新类零样本测试]]></description><category></category></item><item><title><![CDATA[大模型RAG初探【Langchain】]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/151795406</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/151795406</guid><author>cshsjdh</author><pubDate>Wed, 17 Sep 2025 16:20:32 +0800</pubDate><description><![CDATA[本文介绍了RAG（检索增强生成）技术，它通过结合检索和生成技术，解决了传统大语言模型的知识局限性和幻觉问题。RAG系统包含知识库、文档处理、嵌入模型、向量数据库等核心组件，利用Langchain框架实现文档加载、分割、向量化存储和检索功能。文章详细展示了基于本地文档知识库的RAG实现过程，包括环境配置、模型选择（Bge-lager-zh-v1.5和Deepseek）、代码实现和测试结果。该系统能够从本地文档中检索相关信息，结合大语言模型生成准确回答，有效提升了问答系统的可靠性和准确性。]]></description><category></category></item><item><title><![CDATA[MAE——Masked Autoencoders Are Scalable Vision Learners/图像分类和去雨雾重建/]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/150776420</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/150776420</guid><author>cshsjdh</author><pubDate>Mon, 25 Aug 2025 22:43:37 +0800</pubDate><description><![CDATA[本文介绍了掩码自编码器(MAE)在视觉任务中的应用。文章详细阐述了MAE的架构设计、损失计算和实现细节，包括编码器-解码器结构、mask token处理方式等。同时提供了MAE在图像分类、去雨/去噪等任务中的完整实现代码，包含预训练、微调和预测三个模式。实验结果表明，该方法在图像重建和修复任务中表现良好，特别是能有效保持边缘和纹理特征。文章还给出了数据]]></description><category></category></item><item><title><![CDATA[[ pytorch ] 基于CLIP的zero-shot图像分类]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/150604481</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/150604481</guid><author>cshsjdh</author><pubDate>Fri, 22 Aug 2025 18:40:57 +0800</pubDate><description><![CDATA[本文介绍了CLIP模型及其应用方法。CLIP可以直接将类名转为文本特征进行zero-shot分类。文章详细展示了如何使用官方CLIP模型进行图像分类预测，准确率可达99.85%。此外，还提供了完整的代码实现，包括数据集处理、模型训练和评估流程，支持在CIFAR-100等数据集上进行微调。CLIP的创新之处在于摆脱了固定分类标签的限制，实现了基于自然语言理解的开放式分类能力]]></description><category></category></item><item><title><![CDATA[nginx搭建流程与常见问题]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/149855534</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/149855534</guid><author>cshsjdh</author><pubDate>Sat, 02 Aug 2025 11:21:41 +0800</pubDate><description><![CDATA[本文详细介绍了在VMware虚拟机上安装CentOS 7并配置Nginx的完整流程。整个过程从虚拟机搭建到Web服务部署，步骤清晰完整，适合初学者按指南操作]]></description><category></category></item><item><title><![CDATA[自制AI的图片分类工具- 智能图片分类器]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/145500828</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/145500828</guid><author>cshsjdh</author><pubDate>Fri, 07 Feb 2025 19:15:05 +0800</pubDate><description><![CDATA[亲爱的科技爱好者们，今天我要为大家介绍一款自制的小工具 ——智能图片分类器！这款软件能够通过部署你的模型，就像是一位AI魔法师，能够瞬间识别各种图片，让你的图片管理工作变得轻松又有趣。]]></description><category></category></item><item><title><![CDATA[模型界的“传承“：知识蒸馏黑科技调教出浓缩版ViT小天才]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/145492692</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/145492692</guid><author>cshsjdh</author><pubDate>Fri, 07 Feb 2025 13:49:03 +0800</pubDate><description><![CDATA[知识蒸馏（Knowledge Distillation） 提供了一种有效的解决方案。今天我们就让大模型手把手带小模型刷题，看看这个让模型瘦身90%还能保持高智商的秘密配方！]]></description><category></category></item><item><title><![CDATA[LeMeViT：具有可学习元令牌的高效ViT]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/139546571</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/139546571</guid><author>cshsjdh</author><pubDate>Sat, 08 Jun 2024 15:33:12 +0800</pubDate><description><![CDATA[提出了双交叉注意（DCA）来促进图像令牌和元令牌之间的信息交换，其中它们在双分支结构中交替充当查询和密钥（值）令牌，与自注意相比，显著降低了计算复杂度。在分类和密集预测任务中的实验结果表明，与baseline相比，LeMeViT具有1.7倍的显著加速、更少的参数和有竞争力的性能，并在效率和性能之间实现了更好的权衡。]]></description><category></category></item><item><title><![CDATA[Opencv 测量物体尺寸]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/137796442</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/137796442</guid><author>cshsjdh</author><pubDate>Mon, 15 Apr 2024 22:32:23 +0800</pubDate><description><![CDATA[简介：实时测量物体尺寸是使用OpenCV进行计算机视觉应用的一个常见案例。下面我来简单实现一下如何在以一张A4纸为背景的前提下进行物体测量。主要功能是从视频或图像中识别出特定的对象（如A4纸），并进行固定的流程：边缘检测、轮廓提取、透视变换和物体尺寸测量。以上代码实现了一个实时测量物体尺寸的系统。通过摄像头或视频文件输入,检测物体并测量其尺寸,并在画面上显示结果。]]></description><category></category></item><item><title><![CDATA[使用Swin-Transformer的图像修复]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/137474997</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/137474997</guid><author>cshsjdh</author><pubDate>Sun, 07 Apr 2024 20:21:46 +0800</pubDate><description><![CDATA[好处有两个：(1)Transformer 可以有效捕捉长距离依赖，Swin Transformer 将自注意力计算限制在分割的不重叠窗口内从而降低计算量；(2) 使用 CNN 在 Transformer Layer 后避免原论文中的层级结构，实现即插即用，同时在 Transformer 中 CNN 可以稳定训练过程与融合特征。以往通过GAN等方式的图像修复大多是以卷积网络进行的，本文讲解一个基于Swin-Transformer的SwinIR模型，包括：浅层特征提取、深层特征提取和高质量图像重建。]]></description><category></category></item><item><title><![CDATA[SSD:基于深度网络的目标检测器]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/137435012</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/137435012</guid><author>cshsjdh</author><pubDate>Sat, 06 Apr 2024 19:17:21 +0800</pubDate><description><![CDATA[按照卷积的方式，在几个具有不同尺度（例如 8×8 和 4×4 在 (b) 和(c)的特征图每个位置，我们评估一小组（例如 4 个）不同宽高比的默认边框。具体来说，对于特征层的每一个单元区域（比如大小为m×n），网络会使用小的3×3×p的卷积核来预测目标的类别分数或相对于默认框坐标的位置偏移。SSD中的默认框在概念上与Faster R-CNN中使用的锚点框类似，但SSD将这些默认框应用到多个分辨率的特征图上，这样可以有效地覆盖不同尺寸和比例的目标，提高检测的准确性和灵活性。让我们来了解一下SSD。]]></description><category></category></item><item><title><![CDATA[MogaNet:从多阶博弈论交互探索现代卷积]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/136109809</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/136109809</guid><author>cshsjdh</author><pubDate>Tue, 13 Feb 2024 22:30:53 +0800</pubDate><description><![CDATA[MogaNet是一种从多阶博弈论交互的新观点出发的计算高效的纯卷积网络架构。通过特别关注多阶博弈交互，设计了一个统一的多阶遗传块，有效捕捉了跨空间和信道空间的鲁棒多阶上下 文。]]></description><category></category></item><item><title><![CDATA[UniRepLKNet：大核卷积的领先性能]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/136027824</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/136027824</guid><author>cshsjdh</author><pubDate>Sun, 04 Feb 2024 17:50:23 +0800</pubDate><description><![CDATA[本文介绍UniRepLKNet论文及测试UniRepLKNet的性能，用到农业病害识别数据集做图像分类测试。]]></description><category></category></item><item><title><![CDATA[弱监督定位——类激活图大显身手]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/135629632</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/135629632</guid><author>cshsjdh</author><pubDate>Tue, 16 Jan 2024 20:25:11 +0800</pubDate><description><![CDATA[如何不使用目标检测也能把目标定位出来？通过可视化与灵活的写入网络体系中，Grad-CAM可以很好的将模型感兴趣的区域定位出来，再结合opencv对图像或视频的处理，可以让我们实现类似于目标检测的效果。]]></description><category></category></item><item><title><![CDATA[AI中英文场景OCR识别]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/135528648</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/135528648</guid><author>cshsjdh</author><pubDate>Thu, 11 Jan 2024 15:48:06 +0800</pubDate><description><![CDATA[使用AI中英文场景OCR（Optical Character Recognition，光学字符识别）识别和提取图像或视频中的文字信息。它可以自动检测图像中的文字，并将其转换为可编辑的文本格式，从而实现对图像中文字的理解和处理]]></description><category></category></item><item><title><![CDATA[Grad-CAM——模型所关注的]]></title><link>https://blog.youkuaiyun.com/cshsjdh/article/details/135393759</link><guid>https://blog.youkuaiyun.com/cshsjdh/article/details/135393759</guid><author>cshsjdh</author><pubDate>Thu, 04 Jan 2024 19:32:41 +0800</pubDate><description><![CDATA[Grad-CAM（Gradient-weighted Class Activation Mapping）是由Selvaraju等人在2017年的论文中提出的。Grad-CAM是一种可解释性方法，用于解释深度神经网络在图像分类任务中的预测结果。传统的可视化方法，如热力图和类激活映射（CAM），通常只能对网络中的全局信息进行可视化，而无法提供更细粒度的局部信息。Grad-CAM通过结合梯度信息和全局池化层的权重来解决这个问题，从而生成更准确的可视化结果。]]></description><category></category></item></channel></rss>