- 博客(20)
- 收藏
- 关注
RSS订阅原创 【图论】系列（十）关联矩阵和拉普拉斯矩阵（有向图）
对于一个有 n个顶点和 m 条边的有向图 G，其关联矩阵。这是因为在有向图中，拉普拉斯矩阵的定义可能不唯一。和 Dout−ADout−A 不一致。
2025-04-14 14:20:45
3
原创 【Mamba之模型训练系列（二）】Mamba模块
Mamba模型通过结合短卷积、SSM模块、残差连接和RMSNorm，实现了高效且有效的序列处理能力。短卷积快速提取局部特征，SSM模块高效处理长序列并建模长距离依赖，残差连接缓解梯度消失问题，RMSNorm稳定训练过程。这些组件共同协作，使得Mamba模型在多模态任务中表现出色，同时保持高效的推理速度。
2025-02-06 09:30:00
291
原创 【Mamba之模型训练系列（三）】为什么提多模态会提到Mamba|状态空间模型与多模态融合的结合
状态空间模型为多模态融合提供了一个强大的工具，能够有效捕捉多模态数据的动态交互和互补性。通过设计合理的状态变量、状态转移方程和观测方程，可以实现高效的多模态融合，提升模型在复杂任务中的性能。
2025-02-05 22:35:07
57
原创 【Mamba之模型训练系列（四）】将 mamba 扩展到多模态大型语言模型，实现高效推理
这篇文章介绍了一个新型多模态大型语言模型（MLLM），它基于状态空间模型（SSM），旨在提高多模态任务中的推理效率。通过替换传统的Transformer架构，采用预训练的Mamba语言模型。作为其核心，实现了线性计算复杂度，从而显著提高了处理长序列的效率。文章详细描述了Cobra的设计、实现和实验验证，证明了其在保持高性能的同时，显著提升了推理速度，并减少了模型参数数量。
2025-02-05 21:58:10
400
原创 【Mamba之模型训练系列（一）】一次了解Mamba的前世今生
在具体应用上，S4在不同的长序列任务上均表现出色，例如在没有数据增强或辅助损失的情况下，就在序列CIFAR-10上达到了91%的准确率，与较大的2D ResNet相当。MiM模型包括1)一种新的集中式Mamba交叉扫描（MCS）机制，用于将图像转换为序列数据，2)一个标记化Mamba（T-Mamba）编码器，该编码器集成了高斯衰减掩模（GDM）、语义令牌学习器（STL）和语义令牌融合器（STF），用于增强特征生成和集中，以及3)加权MCS融合（WMF）模块，结合了多尺度损失设计，以提高解码效率。
2025-02-05 21:38:10
88
原创 【Mamba之模型训练系列（七）】用于多模态图像融合的随机洗牌状态空间模型
消融实验验证了随机洗牌操作的有效性。医学图像融合涉及将来自不同成像模态的图像（如MRI、CT、PET、SPECT等）融合，以生成更全面、更详细的图像，用于医学诊断。多模态图像融合是指将来自不同成像模态（如卫星图像中的多光谱和全色图像，或医学图像中的CT和MRI）的图像信息进行整合，以生成更具信息量的合成图像。医学图像融合的目的是将两种或多种不同成像模态的医学图像进行融合，以克服单一模态图像的局限性，生成一种新的图像，这种图像能够同时保留来自不同模态图像的有用信息，从而为医学诊断提供更全面的支持。
2025-02-04 23:26:57
70
原创 【Mamba之模型训练系列（五）】用于生存预测的多粒度多模式交互状态空间模型
实验部分使用了五个公开的癌症数据集（来自 TCGA），包括乳腺浸润性癌（BRCA）、膀胱尿路上皮癌（BLCA）、结直肠腺癌（COADREAD）、子宫内膜癌（UCEC）和肺腺癌（LUAD），涵盖了配对的诊断 WSIs 和基因组数据以及经过验证的生存结果。这篇文章介绍了一种新型生存预测模型，它结合了病理图像和基因组数据，利用多粒度多模态交互的状态空间模型（State Space Model, SSM），在癌症患者的生存预测中表现出色，优于现有的最先进方法，同时在计算效率上具有显著优势。
2025-02-04 23:22:23
161
原创 【Mamba之模型训练系列（六）】基于耦合状态空间模型的增强多模态融合
多模态融合的本质在于利用不同模态中固有的互补信息。然而，大多数流行的融合方法依赖于传统的神经架构，不足以捕捉跨模态交互的动态，特别是在存在复杂的模态内和模态间相关性的情况下。文中提出了耦合状态空间模型 (SSM)，用于耦合多种模态的状态链，同时保持模态内状态过程的独立性。具体而言，设计了一种模态间隐藏状态转换方案，其中当前状态取决于其自身链的状态以及前一时间步的相邻链的状态。为了完全遵循硬件感知的并行性，引入历史状态并推导状态方程来获得全局卷积核。
2025-02-04 20:01:31
534
原创 【图论】系列（八）PageRank
例如，在**协同过滤（Collaborative Filtering）**方法中，可以通过PageRank类似的算法来计算物品（如电影、书籍、商品等）的重要性或用户对物品的偏好，从而生成推荐。页面的浏览过程可以建模为一个马尔可夫过程，其中每个网页是马尔可夫链的状态，链接则是状态之间的转移。PageRank的一个限制是它假设网络是静态的，但现实中的网页和链接关系是动态变化的。PageRank 计算：PageRank是通过链接到某个页面的其他页面的PageRank值来计算的，且链接越多的页面其价值越小。
2025-01-24 12:48:55
29
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人