Tipriest的博客

是这样的一个事情，经过与deepseek的一番讨论和交流，DeepSeek为我设计了一个30天高强度学习计划，重点聚焦弱监督/无监督语义分割在野外场景的应用，结合理论与实践，并最终导向可落地的开源项目。，使用grounding dino的标注效果如下图所示。grounding-dino模型的标注框。grounding-dino模型的标注框。使用SAM识别的效果如下所示。sam模型的分割效果。sam模型的分割效果。这个是标注之后的图像。

是这样的一个事情，经过与deepseek的一番讨论和交流，DeepSeek为我设计了一个30天高强度学习计划，重点聚焦弱监督/无监督语义分割在野外场景的应用，结合理论与实践，并最终导向可落地的开源项目。这周其他的可能就还是做了一些代码整理的工作，把一些复用的Python代码库整理成了自己的pip包并且安装，通过上下文管理器写了可以使用。llava 主要是像是有一点听不懂话一样,让他不要输出这么多，他还非要输出这么多。语法的一些程度运行测试时间的函数，欢迎一起交流~总算是能够达到比较不错的综合效果了。

不过我们可以注意到，权重矩阵对图像的理解基于对特征向量的加权，而特征向量背后是一个个特征图，因此可以跳过特征向量，直接将这些特征图用权重矩阵加权，再重叠合成为一张特征图，就可以很直观的看到到底模型是通过看哪片区域来做出判断的。CAM 指的是经过加权的特征图集重叠而成的一个特征图。我在我的野外环境的数据集上，根据图像级标注生成的类激活图的效果，可以看到类激活图关注的主要是一个点而非全部，类似的类激活图也比较难用在我的语义分割伪标签生成任务中，后面的。可以看到，模型做出分类决策的依据来源于权重矩阵。

之前学了一下DataWhale的handy-ollama的课程，可以在本地部署大模型，能够做图片理解，我是RTX4080super的显卡，所以可以部署deepseek:14B这样的模型以及llava这样的多模态的模型，尝试用了一下，用了llava，然后用json格式固定了输出写到csv文件中，然后再用calF1.py计算准确率和召回率。CLIP这个模型很有意思，可以形成图像-文本对，也就是给定一系列的词，给定一张图片，可以选择出最高可能性的图片，比如下图所示，能够以极高的概率确定我的这个图片是一只狗。

经过与deepseek的一番讨论和交流，DeepSeek为我设计了一个。：Class Activation Map (CAM)优化、伪标签迭代。：掌握图像级/点监督分割方法，构建弱监督野外场景Pipeline。，结合理论与实践，并最终导向可落地的开源项目。：解决野外场景的域偏移问题（如仿真→真实场景迁移）：构建完整Pipeline，产出开源仓库与仿真视频。：掌握传统语义分割核心模型与野外场景数据特性。