寸先生的牛马庄园-优快云博客

原创【TPAMI 2026 】一套权重管四种模态：MMHVAE 把「专家乘积」做成了层级结构，MRI 和术中超声互转不用再训 12 个模型

论文：作者：Reuben Dorent 等（哈佛医学院 / Brigham and Women’s Hospital / Inria 巴黎）发表：IEEE TPAMI, 2026 年 2 月, 48(2): 1641–1656（MICCAI 2023 会议版的大幅扩展）代码：https://github.com/ReubenDo/MMHVAE （PyTorch，含预训练权重）

2026-10-07 09:33:27 234

原创医学智能体综述

论文说很多医学智能体依赖泛化的 CoT 提示或启发式规划，

2026-10-05 15:54:49 231

原创 300篇文献浓缩成一张图：这篇TMLR综述把“多模态省算力“这件事讲成了三层楼

综述开篇的判断很直接：多模态的效率问题不是"单模态效率问题加一个模态"那么简单。单模态优化的是同质数据流，多模态要编排的是语义密度、分辨率、时间动态都不一样的异构信号——图像 token 冗余高、文本 token 语义密、音频流又细又长，三种东西塞进同一个 Transformer，冗余的分布是完全不均匀的。作者把瓶颈拆成了两条任务线。理解任务的开销集中在低复杂度编码器和跨模态对齐上；生成任务则额外背上自回归解码和去 token 化（detokenization）的包袱。理解贵在"进去"，生成贵在"出来"

2026-09-28 10:45:03 233

原创 Cell 同期连发两篇世界模型，哈佛这篇负责泼冷水：生物医学世界模型的卡点不是模型，是数据

从 Ha & Schmidhuber 2015 到 LeCun 的自主智能愿景，世界模型的定义向来松散。这篇用能力而非架构来定义——凡是不支持"拿预测出的状态接着推演"的模型，无论多大多多模态，都不算。这一刀直接把大部分基础模型切了出去：AlphaGenome、ESM-3、Geneformer、scGPT、UNI 这些名字在文中被点名——它们是很好的编码器和解码器，但按这个定义都不是世界模型。

2026-09-25 06:56:06 283

原创把肺抹掉，模型照样诊断肺炎：一份写给医学 AI 的作弊自查清单

论文假设医生看肺、看视盘。但如果某个疾病真的表现为 ROI 之外的征象，无 ROI 上的好成绩就不一定是作弊。35 例里医师找到的 2 例正是这种情况（积液出现在胸膜腔，精确掩码去肺后可能仍可见）。论文提醒了这一点，但没有给出系统化的判定规则——比如「先自动排除 ROI 邻近的可诊断征象，再判为作弊」。所以探测方法的阳性判读仍然需要临床知识兜底。

2026-09-24 07:12:57 263

原创【npj Digital Medicine 2026】一个32B开源模型在 8 个临床模态上打赢了GPT-4o，但它的幻觉率告诉我们别急着高兴

LC25000 的 5 类是"结肠腺癌、良性结肠、肺腺癌、肺鳞癌、良性肺"——这是按器官和良恶性交叉定义的；BCSS 的 4 类是"肿瘤、间质、淋巴细胞浸润、坏死/碎片"——这是按。

2026-09-16 08:15:19 182

原创拆掉窗口的墙：DSwinIR 给注意力装上“滑轨“和“眼睛“，图像复原网络又变强了

论文：DSwinIR: Rethinking Window-based Attention for Image Restoration（Wu, Jiang, Jiang, Liu, Nie，哈尔滨工业大学，arXiv:2504.04869v3，2025）代码：https://github.com/Aitical/DSwinIR。

2026-09-14 06:56:34 58

原创 MHOA：用“流形启发式优化“重新定义数据增强——从盲目变换到分布感知

在深度学习时代，数据增强（Data Augmentation）几乎成了训练神经网络的标配操作。从最基础的翻转、裁剪、旋转，到 AutoAugment、RandAugment、AugMix 等自动搜索策略，再到 CutMix、MixUp 这类混合方法，以及 GAN 和扩散模型这类生成式增强——数据增强的家族已经庞大到令人眼花缭乱的程度。然而，Liu 等人这篇发表在 IEEE TPAMI 上的工作，并没有在这个拥挤的赛道上再塞进一个"更强的变换组合"。数据增强的目标到底是什么？

2026-09-09 06:47:13 145

原创心脏磁共振要拍 30 秒，AI 能压到 3 秒吗？这篇论文把扩散模型塞进“压缩空间“，只用 8 步就补回了丢失的心肌细节

批评了这么多，也要把优点讲清楚，否则不公平。第一，问题定义非常精准。它没有泛泛地说"我们要做一个更好的 MRI 重建网络"，而是明确地识别出"回归损失导致过度平滑"和"扩散模型太慢/会幻觉"这两个具体的痛点，然后针对性设计。这种"先诊断病因、再开药方"的写法，比堆模块的工作高一个层次。第二，"8 步潜空间扩散"这个工程判断极其漂亮。当你把扩散模型的任务从"生成图像"降级为"生成辅助特征"时，所需的采样步数会断崖式下降。这个洞察不局限于 MRI，对任何"扩散 + 判别式任务"的结合都成立。

2026-09-08 07:04:41 157

原创【CVPR 2026】甲骨文和竹简上的字模糊不清？这篇论文用可学习小波变换 + Transformer，让古汉字修复精度达到新高度

LWTformer 是一个专为。

2026-09-07 10:32:47 317

原创【CVPR 2026】InvAD：基于 DDIM 反转的无重建扩散模型异常检测

无监督图像异常检测（Anomaly Detection, AD）的核心任务是：只用正常图像训练模型，测试时识别偏离正常模式的区域或整张图像。应用场景包括工业缺陷检测（MVTecAD）、医学影像筛查等。传统深度学习方法（如 PatchCore、RD4AD）通过记忆正常特征的统计分布来检测异常。近年来，扩散模型（Diffusion Models）因其强大的分布建模能力被引入 AD 领域。现有的扩散基 AD 方法几乎全部遵循 “在 RGB 空间中去噪检测”（detection via denoising in

2026-08-31 07:15:41 192

原创当 Mamba 遇上 Attention：一个双向混合框架，把“药物-靶点“配对预测刷到了新 SOTA

这篇论文本质是——把"药物"用两种模态表示（SMILES 字符串序列 + 分子图），把"蛋白质"用氨基酸序列表示，然后用的混合模块分别抽取序列特征、用抽取分子图特征，最后做加权融合预测"这对药和靶点会不会结合"。我会用你熟悉的 Transformer/SSM 语言把结构拆开讲。

2026-08-29 07:21:57 203

原创血浆动脉粥样硬化指数（AIP）与估计葡萄糖处置率（eGDR）联合关联心血管-肾脏-代谢综合征 0–3 期人群新发心血管疾病风险：一项 9 年全国前瞻性队列研究

AIPAIPlog⁡10⁣TGHDL⁣−⁣C单位均为 mg/dL(1)-\!C}}\right),\qquad \text{单位均为 mg/dL} \tag{1}AIPlog10HDL−CTG单位均为mg/dL1因为 TG/HDL-C 是高度右偏的分布，取 log10 使其近似正态、便于建模。AIP 越大 → 致粥样硬化血脂画像越重。

2026-08-29 07:00:41 168

原创 GeneJepa：把转录组建模成“预测性世界模型”，这条路走得通吗？

GeneJepa 不是又一篇在表达计数上做 masked reconstruction 的单细胞基础模型，而是把 JEPA 的“预测隐层表征”范式认真地搬到了转录组领域：用 Fourier 特征保留连续表达、用 Perceiver 把可变基因集压缩成固定隐层、用 EMA 教师和 VICReg 做稳定训练，并在细胞类型识别、药物响应和扰动预测等任务上展示了优于 scGPT 和 UCE 的表征质量。它最有价值的贡献，或许不是某个具体指标的提升，而是把“转录组基础模型应该预测什么”这个问题重新提了出来。

2026-08-28 07:10:53 226

原创 JEPA-DNA：用联合嵌入预测架构为基因组基础模型“接地”

JEPA-DNA 不是一把推翻现有 GFM 的“新锤子”，而是一张可以贴到多种已有 GFM 上的“增强膜”：它在保留 token 级重建能力的同时，通过潜在空间预测和 VICReg 正则化，把模型的表示空间重新组织得更有利于全局调控语义。它在 17 个基因组任务上带来了稳健的平均提升，尤其在启动子、剪接位点和长程调控任务上效果显著。但我们也需要清醒：论文标题里的“grounding”更多是一种机制描述，而不是已经证实的生物学结论；VICReg 在消融中扮演的角色可能比 JEPA 本身更关键；

2026-08-28 06:52:37 199

原创 MPSA：用自适应稀疏注意力重新平衡分割精度与效率

MPSA 没有推翻 Mask2Former 的统一分割范式，而是通过ACE 轴向注意力 + MPSA-CA 原型稀疏匹配，把 query-像素交互从“全图扫描”压缩到“单点聚焦”，在 Cityscapes、ADE20K、Mapillary Vistas 等数据集上以约一半的参数和 FLOPs 达到了甚至超越了 Mask2Former、OneFormer 等 SOTA 方法。但它本质上仍是一款面向高端 GPU 的高性能模型，而非边缘轻量网络；Top-1 硬选择的高效性也伴随着不可微和错误传播风险。

2026-08-27 07:38:31 194

原创 BMIS：用“浅而宽”重新思考医学图像分割的性价比

在医学图像分割领域，过去几年有一个很明确的趋势：网络越来越深，模块越来越复杂，Transformer、Mamba、各种注意力机制轮番登场。papers 的卖点往往集中在“我在某个数据集上又刷高了 0.x% 的 IoU”。但这类模型 frequently 伴随着几十兆参数、上百 G FLOPs，以及在实际设备上动辄几十甚至几百毫秒的推理延迟——对于资源受限的临床终端，它们更像是实验室里的漂亮盆景，而不是能栽进病房和诊室里的常青树。Dai 等人这篇发表在。

2026-08-27 07:03:29 201

原创 Core-KAN 深度解读：用 Kolmogorov–Arnold Network 重新参数化卷积核

我们认为，自适应卷积长期面临的根本矛盾是「适应性越强，参数与计算越爆炸」。Core-KAN 通过把深度卷积核从一张「固定离散权重表」升级为一个由 KAN 参数化的「连续坐标-到-核函数场 Φθ:R2→RNΦ_θ: R²→R^NΦθ:R2→RN」，再用一个相对尺度控制器和一个内容混合控制器分别控制核的「几何形状」与「内容选择」，并用 M=8 个尺度支持点上的响应插值代替逐位置核生成，最终在三个视觉任务上以远低于 KernelWarehouse 等强基线的参数量取得最优或可比精度。视觉表征的一个基本动作是局部

2026-08-25 06:59:33 218

原创【CVPR2026】给医学图像“相面”：视觉大模型驱动下的数据偶然不确定性深度解析

在医学图像分割领域，如何让模型精准地勾勒出器官或病灶的边缘，一直是科学家们攻克的难题。过去的深度学习研究，大多热衷于设计更复杂的网络架构，或者去评估模型由于自身知识不足而产生的“认知不确定性”（Epistemic Uncertainty）。。由于不同医疗设备的成像差异、不可避免的扫描噪声，以及即使是顶级医学专家在面对模糊病灶时也会产生的标注分歧，数据集中充斥着固有的随机性和模糊性。这种源于数据本身的固有随机性，在学术界被称为“偶然不确定性”（Aleatoric Uncertainty）。

2026-08-13 08:31:48 194

原创 ReMoE：当大模型文本先验遇上 MoE，刷新 OCT/OCTA 异常检测

ReMoE 提出了一种报告引导的混合专家框架，通过把正常报告语义蒸馏成图像条件的伪文本先验，并结合模态锚点构建模态感知先验，进而利用 RMM 在编码器-解码器差异计算前调制多模态视觉特征，使异常分数能够反映“报告语义指引下的语义感知差异”。tbNormftextrbtbNormftextrb))（报告嵌入）、pblmqpmqanctanh⁡αqγblmqpblmqstupblmqpmqanc。

2026-08-11 08:24:22 197

原创前沿速递 | MMOE：引入 MoE++ 机制，全面现代化 Diffusion Transformers

综合来看，这篇论文在理论框架和工程实践上都具有极高的完成度。其最大的亮点在于将模型容量扩张与计算负载进行了优雅的解耦。通过引入MoE++的轻量级专家机制，打破了以往“大模型必伴随大计算”的魔咒；而注意力残差结构的引入，则巧妙弥补了稀疏网络容易产生的信息割裂问题。这种抽丝剥茧式的演进实验设计，是一份极佳的现代神经网络架构分析范本。然而，从批判性的角度审视，该工作也存在一定的局限性。

2026-08-08 08:12:16 192

原创用扩散模型“一次生成图像和标注”：CoSimGen 如何实现可控的图像-Mask 同步生成

本文介绍一篇生成式视觉/医学图像方向有意思的论文：。它的核心问题不是单纯“生成一张图”，而是。这类问题在医学影像、手术场景、遥感、自动驾驶等领域很重要，因为这些领域最昂贵的往往不是原始图像，而是高质量、专家标注的像素级 mask。论文明确指出，现有生成模型多数只生成图像或只生成 mask，缺少对“成对图像-mask”的统一生成能力，也缺少灵活的文本/类别条件控制能力。

2026-05-21 15:24:14 357

原创【BIBM2025】 MedMamba-YOLO：医疗目标检测，当 YOLO 遇见轻量级 Mamba

通过阅读上述代码实现，我们可以发现 MedMamba-YOLO 的改进并非盲目的模块堆砌。CPIB 的通道交叉保证了微弱特征不丢失，MSF-FPN 与 SAVSSB 通过跨尺度连接与“CNN + Mamba”的互补机制构建了强大的时空感知能力，而 HMDA 进一步实现了对尺度变化的自适应兼容。理解这套设计逻辑，对改进其他工业视觉模型同样具有极高的参考价值。

2026-05-16 09:52:02 568

原创 SBLDM + TumorRefiner：用条件潜空间扩散生成高保真多模态 MRI 和多标签肿瘤掩码

在算力与数据双重受限的情况下，如何通过先验知识（医学影像的切片连续性）与任务分解（全局结构生成+局部细节超分）来榨干扩散模型的潜力。这不仅对医疗影像领域的同行极具启发性，其源码中的设计模式（特征聚合、局部裁剪细化流）也可广泛应用于卫星遥感、材料切片等其他含有三维空间结构但难以获得海量3D数据的场景中。

2026-05-15 08:53:31 441

原创【AAAI2026】GuideGen：用文本引导生成全躯干 CT 图像与解剖掩码的前沿方法解析

GuideGen 通过的组合，实现了全躯干 CT 与掩码的渐进式生成。数学原理、潜空间建模、mask-prompt 对齐和可学习下采样等技术保证了生成数据的结构与语义一致性，为医学影像 AI 数据增强提供了可行的解决方案。

2026-05-14 16:29:32 445

原创一篇看懂 SimGen：它为什么能“同时生成手术图像和分割掩码”？

因为手术图像本身是 RGB，3 通道；mask 经过 CFL 编码后，也变成 RGB 风格的 3 通道表示；x0⊕y0x0⊕y0也就是图像 3 通道 + mask 3 通道，总共 6 通道。这也是为什么论文里的 mask 不是单通道。不是作者“非要做复杂”，而是因为整个生成框架就是建立在“连续值联合建模”之上的。对于扩散模型来说，这样设计比直接生成离散 mask 更自然。

2026-05-13 09:35:57 283

原创【CVPR2024】用Diffusion“造”遥感分割数据：SatSynth论文解读

SatSynth最重要的贡献，不是提出了一个特别复杂的网络结构，而是提出了一种清晰的数据生成范式：用diffusion model学习图像和语义标签的联合分布，生成新的image-mask pairs，再作为数据增强用于下游semantic segmentation。它证明了三件事：第一，diffusion model可以不只生成图像，也可以生成与图像匹配的语义mask。第二，合成image-mask pairs确实能提升遥感segmentation performance。

2026-05-12 16:07:55 522

原创【TMI2025】医学版 Stable Diffusion？3D MedDiffusion 如何生成高质量 3D 医学影像

3D MedDiffusion 给我们的启发是：医学影像生成不能照搬自然图像生成。医学影像有自己的规则：它是三维的，结构要连续；它是临床相关的，细节不能乱；它的数据昂贵，生成结果最好能服务真实任务。这篇论文的价值，正在于它没有只追求“生成一张好看的图”，而是把高质量 3D 生成、可控适配、图像重建和数据增强放进了一个统一框架里。当然，它距离真正临床可用还有距离。未来还需要更强的临床验证、更细粒度的条件控制、更低的算力门槛，以及更严格的隐私与安全评估。

2026-05-12 14:48:38 593

原创【ICLR2026双盲审】联合生成 3D CT 与分割标签：Med3D-JADE 的方法、亮点与隐忧

Med3D-JADE 的价值，不在于它只是又提出了一个医学扩散模型，而在于它明确指出了医学数据增强中的一个关键问题：**医学分割缺的不是更多“看起来不同”的图像，而是更多“结构上不同且标注对齐”的样本。**从这个角度看，Med3D-JADE 是一个有启发性的工作。它通过 MAISI 预训练能力、双分支 latent diffusion、VJA 跨模态注意力，把 3D CT 和 segmentation mask 的联合生成变成了一个可运行的系统。

2026-05-12 08:59:16 429

原创【ICCV2025】仅需一段文字，MedSegFactory 同步生成医学图像与精确分割掩码

MedSegFactory 通过共享权重的双流架构与 JCA 机制，巧妙解决了医学图像合成中“缺标注”和“难对齐”的痛点。这种将文本提示直接转化为成对可用数据的范式，为降低医学 AI 研发门槛提供了一个极具实用价值的基础工具。

2026-05-11 11:42:28 470

原创【AAAI2026】EccoMamba 如何修复 Mamba 的空间感知短板？

EccoMamba 是一篇围绕 Mamba 医学图像分割缺陷进行结构性修补的论文：用 HAE 增强多尺度语义与边界表达，用 SCO 修复方向偏置和空间不连续，在多个医学分割数据集上取得了较强 DSC 表现；但它并非所有指标全面领先，尤其 HD95 和轻量化方面仍有改进空间。

2026-05-09 08:46:38 613

原创 Deformable Mamba：广角图像分割新思路

在计算机视觉的密集预测任务（如语义分割）中，状态空间模型（SSM，如 Mamba）凭借其线性的计算复杂度，正逐渐成为 Transformer 的有力竞争者。然而，当我们把目光从标准的针孔相机转向广角相机（如 180° 鱼眼或 360° 全景）时，现有的视觉 Mamba 模型往往会出现问题。本文将深度解析发表于 2025 年的一篇具有工程实用价值的论文——。作者提出了一种轻量级的。它不仅将参数量和计算量大幅压缩，还作为一种“即插即用”的插件，赋予了常规骨干网络处理广角畸变的能力。

2026-04-06 07:33:13 468

原创【CVPR2025】DefMamba突破固定扫描的枷锁的可变形视觉状态空间模型

的路径。这种做法就像是“刻舟求剑”：无论图像内容是什么，模型都按死板的路线走。这导致空间上相邻的像素在展平后可能相距甚远，从而丢失了图像原有的几何结构信息。为了解决这一痛点，论文提出。

2026-04-05 18:07:11 280

原创轻量级超分的双频域协同：深入源码解析 DMNet 架构设计

在边缘计算设备（如手机、无人机）上部署图像超分辨率（SR）模型时，算法工程师常常面临一个权衡：如何在极其有限的计算资源（低参数量、低 FLOPs）下，尽可能恢复出高保真的图像细节？现有的轻量级超分网络大多局限于空间域（Spatial Domain）进行操作，这天然限制了模型的感受野，导致难以捕捉全局结构。为了打破这一限制，研究者开始引入频域（如傅里叶域或小波域）信息。。本文将结合论文作者开源的源码，深入拆解 DMNet 的底层逻辑，并提供核心模块的可插拔代码与详细注释，探讨其在工业界落地的潜力与局限。

2026-04-04 15:33:56 472

DataSocket技术在网络化测试中的应用

空空如也