自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 MatSAM: novel training-free approach to extracting material microstructures via visual large model

但是对于显微图,SAM 可能对同一晶粒重复分割,也可能漏掉小晶粒,甚至错误识别晶界。(3)Mask Decoder掩膜解码器:结合图像特征与提示特征,通过注意力机制进行信息交互,预测对应目标区域的分割掩膜(Mask)。利用传统图像处理方法自动定位潜在目标区域,再结合均匀网格点进行补充,将更符合材料结构特点的提示点输入预训练 SAM,从而在无需额外训练的条件下实现准确分割。② 补充边缘点Edge Points,在图像边缘补充更密集的点,解决部分晶粒被图像边界截断,或边缘区域成像条件不佳造成的漏检问题。

2026-11-04 09:19:22 164

原创 Multimodal Multi-loss Fusion Network for Sentiment Analysis--MMML用于情感分析的多模态多损失融合网络

在每个特征网络末端添加全连接层,生成独立模态输出和融合输出,对每个独立模态的输出和整体融合输出分别施加损失函数,最后将三个部分损失加和(文本模态的损失+音频模态的损失+融合特征的损失),并进行联合优化,反向传播。(Cross-Attention)捕捉文本和音频之间的跨模态依赖关系:将一种模态(文本)的查询向量与另一种模态(音频)的键和值进行交互,实现模态间的特征对齐。:提出一个基于交叉注意力和自注意力机制的融合网络,能够将来自不同模态的特征进行有效对齐和融合,强化模态间的交互。

2025-03-26 19:37:48 1231

原创 Robust Divergence Learning for Missing-Modality Segmentation缺失模态分割的鲁棒性散度学习

单模态并行处理:论文提出了一种基于3D U-Net的并行网络架构,将每个模态的数据独立输入到共享的主干网络中进行处理。这种方式保留了每个模态的独特信息,即使某些模态缺失,模型仍能利用可用模态进行分割。 动态共享框架:为了适应模态可用性的变化,引入了一个动态共享框架,根据输入模态的组合调整网络参数,使模型能够在不同缺失场景下灵活工作。 Hölder散度和互信息优化:提出了一种基于Hölder散度和互信息的损失函数,用于评估预测与标签之间的差异。Hölder散度因其灵活性和鲁棒性被选中,适用于复杂和非对称数据;

2025-02-28 13:44:49 986

原创 Towards Good Practices for Missing Modality Robust Action Recognition

在实践中,多模态模型运行的环境不满足在训练和推理阶段使用相同的模态(可能因传感器故障、隐私限制等原因导致模态缺失),引发性能显著下降。【区分虚拟令牌和内存令牌:当RGB模态被丢弃,虚拟令牌占据其位置,模型通过剩余模态和内存令牌的信息来重建RGB特征。不参与解码和预测,仅用于增强潜在表示的鲁棒性。位置嵌入兼容性:编码阶段的位置编码(pos)使模型理解时序关系,即使模态缺失,仍能通过剩余模态的时序特征推理动作。为解决动作识别中的模态缺失问题,论文提出ActionMAE,,通过学习缺失模态的预测编码实现鲁棒性。

2025-02-21 19:29:47 864

原创 XMem: Long-Term Video Object Segmentationwith an Atkinson-Shiffrin Memory Model

-当工作记忆满时,会将工作记忆中的特征整合到长期记忆中,长期记忆以高度紧凑的形式存储特征,在处理大量视频帧后,即使已满也会通过丢弃过时特征来控制内存,它能够存储从长时间跨度上积累的密集信息,用于支持对视频中目标的长期跟踪和分割等任务。:传统方法依赖单类型特征内存(如STM)(单类型:如短期记忆或长期记忆),导致GPU内存消耗随视频长度线性增长,难以处理超过一分钟的长视频。:开发了一种记忆增强算法,定期将活跃使用的工作记忆元素整合到长期记忆中,从而避免了内存爆炸,并最大限度地减少了长期预测的性能衰减。

2025-02-11 01:15:11 1891

原创 Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation

论文题目:Rethinking Space-Time Networks with Improved Memory Coverage for Efficient Video Object Segmentation重新思考时空网络,提高内存覆盖率,实现高效视频对象分割。

2025-01-23 16:36:36 2027

原创 Trusted Multi-View Classification withDynamic Evidential Fusion具有动态证据融合的可信多视图分类

为了解决这个问题,引入了伪视图来促进不同视图之间的交互,既通过引入额外的信息来改善模型对不同视图之间交互的学习能力,从而提高分类的准确性和可靠性。”和“为什么置信度这么高/低?此外,通过引入伪视图增强的TMC(ETMC)模型,进一步提高了模型在特征层面的视图交互能力,从而在多个视图的数据集上取得了更好的性能。多视图学习方法:建立在复杂模型(通常与深度神经网络(dnn)集成不同的视图)上,并依赖于具有语义注释的大型数据集,但它们往往低估了不确定性,因此容易产生不可靠的预测,特别是当呈现有噪声或损坏的视图时。

2025-01-16 02:54:24 1066

原创 Decoupling Static and Hierarchical Motion Perception forReferring Video Segme用于参考视频分割的静态和分层运动感知解耦方法

参考视频分割依赖自然语言表达来识别和分割视频中的对象,通常强调运动线索。过往的研究通常是通过将语言简化为单个句子嵌入,来简化语言的复杂性,并直接在视频级别进行识别,将静态图像级别的线索与时间运动线索混淆。然而,图像级特征不能很好地理解句子中的运动线索,静态线索有时会通过遮蔽运动线索来干扰时间感知。

2025-01-15 01:56:18 1844

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除