【论文阅读】LKM-UNet: Large Kernel Vision Mamba for Medical Segmentation elevates SSMs beyond Convolution

最新推荐文章于 2026-01-06 21:06:24 发布
原创 最新推荐文章于 2026-01-06 21:06:24 发布 · 789 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #医学图像分割

论文链接：https://arxiv.org/abs/2403.07332

Code： https://github.com/wjh892521292/LKM-UNet

来源： Medical Image Computing and Computer Assisted Intervention – MICCAI 2024

摘要：

临床背景与需求：医学图像分割能提供目标器官或组织的轮廓和尺寸信息，帮助提高疾病诊断和治疗的效果。

现有技术的局限性：目前主要使用卷积神经网络（CNNs）和Transformer方法，但它们在捕获大范围信息（受限的感受野）或高计算成本（长距离依赖建模）方面存在不足。

引入Mamba模型：Mamba是一种状态空间序列模型（SSM），能以线性复杂度高效建模长距离依赖，具有潜力弥补上述不足。

提出的新模型——LKM-UNet：本研究设计了基于大核Mamba的U形网络（LKM-UNet），提升局部空间建模能力（通过大核尺寸）和全局建模的效率（相比于自注意力机制的二次复杂度）。

创新设计——层次化和双向Mamba块：为了增强模型的空间信息捕获能力，作者设计了新颖的层次化、双向Mamba模块，进一步优化模型表现。

实验验证：实验结果证明，使用大尺寸的Mamba核可以实现更大的感受野，展现出优越的效果和可行性。

1. 引言

医学图像分割的重要性： 医学影像中对目标器官或组织（如病变）的精准分割，能显著促进临床诊断与研究。

现有技术的局限性

  • CNN（如UNet）：擅长逐级提取局部细节（像素级特征）但受限于有限的感受野，难以捕获长距离依赖关系。虽然最近研究尝试用大卷积核改善，但实现复杂，优化困难。
  • Transformer：能出色进行全局长距离建模，但会牺牲像素级别的空间细节；尤其是基于自注意力（Self-Attention）机制的方式，计算复杂度为二次（quadratic），限制了在大图像中的应用。
  • 混合模型（CNN-Transformer）：试图结合两者优点，但大尺寸医学图像带来了交互复杂度难题。

新兴的结构化状态空间模型（SSMs）

  • Mamba等模型：以线性复杂度实现长距离序列建模，原本用于自然语言处理，但也在计算机视觉中展现潜力。
  • 潜力与挑战：
    • 具有较大空间可调性（大感受野）但原本为单向模型，缺乏位置感，难以处理空间连续性，容易出现“遗忘”问题（局部信息欠缺或不连续）。
    • 原始设计适合一维序列（文本等），不直接适用于处理空间结构。

本文提出的LKM-UNet模型，核心创新：

  • 大卷积核的Mamba模块（Large Kernel Mamba）：赋予模型大感受野能力，能高效捕获全局及局部信息。
  • 层次化与双向设计的LM块（Large Kernel Mamba Block）：
    • 双向性（Bidirectional）：增强位置感和序列感知，减少输入序列顺序的影响。
    • 层次化结构：包括两种操作
      • 像素级SMM（PiM）：用于邻域像素的局部信息捕获，避免由分块（tokenization）导致的邻近像素不连续问题。
      • 块级SMM（PaM）：处理全球性长距离依赖和块之间的全局交互。

该模型通过赋予SSM大感受野、设计双向序列建模、结合像素级和块级SSM操作，解决传统模型在捕获局部细节与全局信息之间的矛盾。实验验证其在2D和3D医学影像分割中的优越表现。

2. SSM模型

基于SSM（结构化状态空间模型，Structured State Space Models）的方法，特别是S4和Mamba模型的数学基础和工作原理如下：

连续系统描述：这些模型起源于描述一类连续的动态系统，其核心数学形式是一阶线性常微分方程（ODE）：

h′(t)=Ah(t)+Bx(t)y(t)=Ch(t) h^′(t)=Ah(t)+Bx(t) \\ y(t)=Ch(t) h′(t)=Ah(t)+Bx(t)y(t)=Ch(t)

其中：

  • h(t)∈RNh(t)∈R^Nh(t)∈RN 是隐藏状态（对应模型的内部记忆或中间表示）；
  • x(t)x(t)x(t) 是输入（可以是一维函数或序列）；
  • A∈RN×NA∈R^{N×N}A∈RN×N 是状态转移矩阵（描述状态的动态变化）；
  • B∈RNB∈R^NB∈RN 和 C∈RNC∈R^NC∈RN 分别是输入映射和输出映射的参数（投影矩阵/向量）。

从连续系统到离散版本：实际应用中多为离散的序列建模，因此需要将连续系统通过时间间隔 Δ 进行离散化。使用零阶保持（Zero-Order Hold, ZOH）进行离散化，得到：

A^=exp(ΔA)B^=(ΔA)−1(exp(ΔA)−I)ΔB \hat A=exp(ΔA) \\ \hat B=(ΔA)^{−1}(exp(ΔA)−I)ΔB A^=exp(ΔA)B^=(ΔA)−1(exp(ΔA)−I)ΔB

这里，exp(ΔA)exp(ΔA)exp(ΔA) 表示矩阵指数，表示在时间ΔΔΔ内状态的演变。

离散后，系统方程变为：

h′(t)=A^h(t)+B^x(t)y(t)=Ch(t) h^′(t)=\hat Ah(t)+\hat Bx(t) \\ y(t)=Ch(t) h′(t)=A^h(t)+B^x(t)y(t)=Ch(t)

与连续版形式相似，但参数已由连续到离散转换得来。

输出计算：最终输出 y(t)y(t)y(t) 由输入序列 x(t)x(t)x(t) 和一个结构化卷积核 KKK 进行卷积（在序列长度 LLL 上）：

y=x∗K^ y=x∗ \hat K y=x∗K^

其中：

K^=(CB^,CAB^,CA^L−1B^) \hat K=(C \hat B,C\hat {AB},C\hat A^{L−1} \hat B) K^=(CB^,CAB^,CA^L−1B^)

这是将状态空间模型中的参数通过矩阵乘积组合，形成一个结构化的卷积核，能高效捕获长距离依赖。

  • S4和Mamba模型借鉴连续系统的动态描述，将序列建模转化为一个状态空间系统，通过离散化后，利用矩阵指数和线性运算实现高效的序列处理。
  • 这种建模方式具有线性复杂度（相比传统自注意力的二次复杂度），适合长序列信息的捕获，特别是在自然语言和计算机视觉中的应用。

3. 方法

3.1 LKM-UNet

在这里插入图片描述

总体架构（Fig. 1）， 基于标准的UNet结构，包括：

  • 编码器（encoder）: 含有下采样（downsampling）层
  • 解码器（decoder）: 含有上采样（upsampling）层
  • 侧边连接（skip-connection）

改进点：在编码器部分插入了大核Mamba（LM）块，以增强模型的空间建模能力。

输入处理：

  • 输入为3D图像，尺寸为 C×D×H×WC×D×H×WC×D×H×W，即包含多通道，它经过深度逐层卷积（depth-wise convolution）进行编码。
  • 这一步将原始输入编码成特征图 F0∈R48×D2×H2×W2F_0∈R^{48}×\frac {D} {2}×\frac {H} {2}×\frac {W} {2}F0​∈R48×2D​×2H​×2W​，即通道数为48，空间尺寸缩小一半。

特征提取流程：

  • 编码的特征图 F0 被送入每个LM块和对应的下采样层。在每一层（第l层）中，经过两个主要的模块：
    • 像素级SSM（PiM）：用于捕获局部邻域的像素信息。
    • 块级SSM（PaM）：用于捕获全局范围的块间关系。
    • 这两个模块的数学表达为：

Fl′=PiM(Fl),Fl′′=PaM(Fl′),Fl+1=Down−sampling(Fl′′) F_l^′=PiM(Fl),F_l^{′′}=PaM(F_l^′),F_{l+1}=Down-sampling(F_l^{′′}) Fl′​=PiM(Fl),Fl′′​=PaM(Fl′​),Fl+1​=Down−sampling(Fl′′​)

  • 这表明在每一层，特征在经过像素级和块级SSM处理后，被下采样以获得更深层次的多尺度特征。
  • 特征的编码与尺度变化：每经过一层，下采样后得到的特征图 Fl+1 被重新编码为：(2Cl,Dl2,Hl2,Wl2)(2C_l,\frac {D_l}{2},\frac {H_l}{2},\frac {W_l}{2})(2Cl​,2Dl​​,2Hl​​,2Wl​​)
    • 其中，ClC_lCl​ 是通道数，{Dl,Hl,Wl}\{ D_l,H_l,W_l \}{Dl​,Hl​,Wl​}是空间尺寸。
    • 这一过程确保逐层提取多尺度、多层次的特征信息。

解码部分（decoder）：

  • 使用标准的UNet解码器结构，以及残差块（residual block）和跳跃连接（skip connections）。
  • 这些元素帮助逐步恢复空间信息，最终生成分割掩码。

3.2 LM block

在这里插入图片描述

LM块的作用与创新性：

  • 多尺度空间建模：LM块旨在同时实现像素级和补丁级的空间关系建模，与传统方法（使用CNN进行局部像素建模，Transformer进行全局依赖建模）不同，LM块结合两者优势。
  • 大核（Large Kernel）优势：采用大尺寸核（窗口）能扩大感受野，提升局部建模的效率，且由于Mamba模型具有线性复杂度，使用大核成为可能。

层级结构：PiM与PaM：

  • Pixel-level SSM（PiM）：
    • 局部邻域像素建模，解决Mamba作为连续模型时的“信息遗忘”问题。
    • 具体做法是将特征图划分成多个大子核（子窗口），在每个子核内进行Mamba操作，以实现连续的局部像素关系的建模。
    • 大核划分提升了局部细节的捕获能力，但需要机制实现不同子核间的信息交流。
    • 具体操作：
      • 将二维特征图（大小为H×WH×WH×W）均匀划分成非重叠的子核，每个子核的大小为m×nm×nm×n（m和n可以最大达到40）。
      • 假设H是m的整数倍，W是n的整数倍（保证划分整除），则可以得到HW/mnHW/mnHW/mn个子核。
      • 每个子核内的像素连续输入到Mamba层中处理。
  • Patch-level SSM（PaM）：
    • 处理全局长距离依赖关系。
    • 通过对特征映射进行池化（按m×nm×nm×n大小）以获得代表性特征，再用Mamba进行跨子核的通信，最后进行反池化恢复原始大小（结合残差连接）。
    • 使模型能在更大范围内捕获相关性，提升全局建模能力。
    • 具体操作流程：
      • 特征图池化（Pooling）：
        • 输入特征图 Fl′F_l^′Fl′​（大小为H×WH×WH×W）首先经过一个尺寸为 m×nm×nm×n 的池化层。
        • 这样，每个子核（大小为 m×nm×nm×n）的局部信息被压缩成一个代表值。
        • 经过池化后，整个特征图被缩减为包含 HW/mnHW/mnHW/mn 个代表值，这些代表值构成了聚合图 ZlZ_lZl​。
      • 跨子核通信（用Mamba实现）：
        • 这些代表值（ZlZ_lZl​）经过双向Mamba（Bi-Mamba）处理，进行全球范围的依赖建模。
        • 这一过程实现了不同子核之间的信息交流，提升了模型对全局关系的理解。
      • 反池化（Unpooling）：
        • 经过Mamba处理后的信息（Wl′W_l^′Wl′​）被反池化（Unpooling）到原始的特征图尺寸。
        • 这一操作将全局信息融合到原始空间中

双向Mamba（BiM）设计：与只考虑单向扫描的原始Mamba不同，BiM同时进行前向和后向扫描（双向），并将两个方向的结果叠加。

优势包括：

  • 更加专注于图像中间区域（如器官和病灶较多的区域），而非边角。
  • 更好地建模位置关系（绝对和相对位置），增强模型的空间感知能力。

4. 实验

4.1 数据集

实验目的：

  • 通过与当前最先进的方法（如其他主流模型）进行对比，验证LKM-UNet在医疗图像分割中的效果。
  • 测试模型在不同类型和维度数据集上的泛化能力和扩展性。

数据集介绍：

  • Abdomen CT（腹部CT）数据集：一个公开的3D多器官分割数据集。来源：MICCAI 2022 FLARE挑战。
    • 内容：包含100个CT病例，涵盖13种腹部器官（如肝、脾、胰腺、左右肾、胃、胆囊、食管、主动脉、腔静脉、左右肾上腺和十二指肠）。
    • 图像尺寸：40（深度）× 224（高度）× 192（宽度）。
    • 训练集：使用来自MSD Pancreas数据集（标注来源于AbdomenCT-1K）中的50个病例。
    • 测试集：来自其他不同的医疗中心的50个病例。
  • Abdomen MR（腹部MRI）数据集：一个公开的2D分割数据集。来源：MICCAI 2022 AMOS挑战。
    • 内容：包括110个MRI案例，涵盖与CT数据集相同的13种腹部器官。
    • 图像尺寸：320 × 320（像素）。
    • 训练集：60个标注病例（依据之前的研究工作）。
    • 测试集：50个病例。

4.2 实验设置

实现平台：使用的是PyTorch 1.9.0，基于nnU-Net框架进行开发。

硬件环境：NVIDIA GeForce RTX 3090 GPU

训练参数：

  • 批处理大小（Batch size）：
    • 3D数据（Abdomen CT）：采用两张图像一批（batch size=2），以适应3D图像较大计算量。
    • 2D数据（Abdomen MR）：采用24张图像一批（batch size=24），因为2D图像计算需求较低，更大批量有助于训练稳定性。
  • 优化器：使用Adam优化器，动量参数设为0.99，提供平滑的梯度更新，有助于模型更快收敛。
  • 学习率和正则化：
    • 初始学习率为0.01。
    • 权重衰减（weight decay）为3×10^(-5)，用于防止过拟合。
  • 训练周期：最大训练轮数为1000轮，确保模型有充分的训练时间。
  • 模型结构细节：
    • Abdomen CT（3D）：
      • 模型共有6个阶段（stage=6）。
      • 由于不同阶段的特征图尺寸不一致，设置了不同的三维卷积核尺寸：
      • 第一和第二阶段： [20, 28, 24]
      • 第三和第四阶段： [10, 14, 12]
      • 第五和第六阶段： [5, 7, 6]
    • Abdomen MR（2D）：
      • 模型包含7个阶段（stage=7）。
      • 每个阶段的卷积核大小依次为： 40、20、20、10、10、5、5。

4.3 整体表现

基线模型的类别：

  • CNN基础的网络：如nnU-Net和SegResNet。这些模型以卷积神经网络为核心，擅长局部特征提取。
  • Transformer基础的网络：如UNETR、SwinUNETR 和 nnFormer。这些模型利用Transformer结构，具有更宽的感受野和全局建模能力。
  • 最新的Mamba基础网络：如U-Mamba，使用Mamba作为核心，强调长距离依赖建模。

实验设计的公平性：

  • 所有模型均在nnU-Net框架中实现，确保平台一致性。
  • 使用默认的图像预处理方法，避免人为干预导致的偏差。

在这里插入图片描述

实验结果：表1中的结果显示，提出的LKM-UNet在两个指标（DSC：Dice Similarity Coefficient， NSD：Normalized Surface Distance）上均优于其他模型。这表明Mamba在全球建模能力（整体上下文特征捕获）方面对于医疗图像分割至关重要。

关于U-Mamba和LKM-UNet的比较：

  • U-Mamba只是单纯将Mamba用作全局建模的工具。
  • LKM-UNet在U-Mamba基础上加入了双向和层次化的Mamba设计，实现了更优的性能。

4.4 核大小的重要性

在这里插入图片描述

通过比较三组不同核大小配置的性能，可以看到，使用较大核尺寸的LKM-UNet表现更优。这说明，在医学图像分割中，拥有较大的感受野（即能同时考虑较大范围信息）是非常关键的。由于Mamba的线性复杂度，它能够高效实现更大的感受野，从而提升模型的性能。

  • Mamba能够实现大范围空间建模（较大感受野）
  • 增大核尺寸（感受野）确实带来性能提升， 这强调了大范围空间信息在医学图像分析中的重要性
  • Mamba的线性复杂度使得在保持效率的同时实现大感受野成为可能

4.5 消融实验

在这里插入图片描述

在腹部磁共振（MR）数据集上进行了消融实验（即逐一验证模型中不同关键组件的作用），结果详见表3。

  • 结果显示，加入PiM（像素级空间关系建模）和PaM（块级空间关系建模）都能提升LKM-UNet相对于基础模型的性能。这验证了两者在分别进行局部像素级建模和全局建模上的优势。
  • 其中，带有PiM的模型带来的改善更明显，表明扩大局部区域的感受野（即理解更多局部信息）是提升模型性能的关键。
  • 引入BiM（双向Mamba）后，模型性能继续提升，强调了双向（前后两个方向）空间建模在位置感知中的重要作用。

4.6 有效感受野可视化

在这里插入图片描述

为了更详细地展示模型的感受野（即模型能够“看到”的区域范围），展示了其它方法和LKM-UNet的有效感受野（ERF）如图3所示。

  • 基于卷积神经网络（CNN）的方法主要侧重于局部特征提取，ERF相对较小；
  • Transformer基方法具有更宽泛的ERF，能够捕获更大范围的特征；
  • 虽然U-Mamba使用Mamba机制实现了全局ERF，但这会削弱部分局部的注意力机制；
  • 相比之下，作者提出的LKM-UNet利用大核（large kernel）Mamba实现了更大的ERF，在全局和局部两个方面都得到了增强。
LKM-UNet模型详解及代码复现
hasakie的博客
03-11 496
这种整体框架的设计使得LKM-UNet能够在保持计算效率的同时，有效捕捉医学图像中的长程空间依赖性。Mamba Block的这种特性使得LKM-UNet模型能够有效处理医学图像等复杂的序列数据，为医学图像分割任务提供了强大的特征表示能力。通过精心调整超参数和采用先进的优化算法，LKM-UNet模型能够在有限的数据条件下实现优异的分割效果，为医学图像分析领域提供了一种强大的工具。这些策略不仅考虑了医学图像分割任务的特点，还充分利用了Mamba架构的优势，使得模型能够在有限的数据条件下实现优异的分割效果。
医学顶会 MICCAI‘24 | LKM-UNet: 大型内核视觉 Mamba UNet 用于医学图像分割
小白学视觉
01-20 404
在临床实践中，医学图像分割提供了有关目标器官或组织的轮廓和尺寸的有用信息，有助于改善诊断、分析和治疗。在过去几年中，卷积神经网络（CNN）和Transformers在这一领域占据主导地位，但它们仍然受到有限的感受野或昂贵的长距离建模的限制。Mamba，一种状态空间序列模型（SSM），最近作为长距离依赖建模的有前途的范式出现，具有线性复杂性。在本文中，我们介绍了一种大型内核视觉MambaU形网络，或称为LKM-UNet，用于医学图像分割。
医图顶会 MICCAI'24 | LKM-UNet: 用于医学图像分割的大内核视觉Mamba UNet
小白学视觉
10-23 1181
点击下方“ReadingPapers”卡片，每天获取顶刊论文解读论文信息题目：LKM-UNet: Large Kernel Vision Mamba UNet for Medical Image SegmentationLKM-UNet: 大型内核视觉 Mamba UNet 用于医学图像分割作者：Jinhong Wang, Jintai Chen, Danny Chen, Jian Wu源码链接：...
[Mamba_4]LMa-UNet
qq_54412311的博客
09-16 1553
在临床实践中，医学图像分割提供了有关目标器官或组织的轮廓和尺寸的有用信息，有助于改进诊断、分析和治疗。在过去的几年里，卷积神经网络(cnn)和Transformers占据了这一领域的主导地位，但它们仍然受到有限的接受域和昂贵的远程建模的困扰。Mamba，一种状态空间序列模型(SSM)，最近作为具有线性复杂性的远程依赖建模的一个有前途的范例出现。在本文中，我们引入了一种用于医学图像分割的大核视觉曼巴u形网络(LKM-UNet)。
Mamba 架构+医学图像分割 25年必将迎来新爆发！
2401_88556812的博客
12-05 1950
比如Mamba-UNet是一种新颖的架构，它结合了U-Net和曼巴的能力。与nnU-Net相比，LightM-UNet在参数数量上减少了116倍，在计算成本上减少了21倍，同时在LiTS数据集上平均mIoU提升了3.45%（从nnU-Net的74.13%提升到LightM-UNet的77.48%）。通过使用大核Mamba，LKM-UNet在3D腹部CT数据集上DSC提升了0.44%（从U-Mamba的86.38%提升到LKM-UNet的86.82%），显示了大接受场对医学图像分割的重要性。
LMa-UNet: 探索大kernel Mamba在医学图像分割上的潜力
专注计算机视觉全栈知识分享
04-01 1946
本文首次探索了大kernel(window) Mamba块在医学图像分割上的潜力，为了充分利用大kernel Mamba的能力，我们设计了一种基于分层和双向的大window的Mamba块，增强SSM的表示建模能力。通过分层设计即PiM和PaM同时建模全局和局部关系，并结合UNet进行高效的医学图像分割。在多个器官数据集上的实验表明，大kernel(window) Mamba在医学图像分割任务中具有竞争力，并值得未来深入探索。最后，如果你对本文有任何的观点或疑问，欢迎评论区下方留言讨论。
医图论文 Arxiv‘25 | HCMA-UNet: 一种结合CNN与Mamba的混合UNet网络，用于高效乳腺癌分割
小白学视觉
05-03 344
乳腺癌病灶在DCE-MRI中的分割由于肿瘤形态的异质性和边界不清晰而具有挑战性。为了解决这些问题，作者提出了一种新颖的混合分割网络HCMA-UNet，用于乳腺癌病灶的分割。该网络由一个轻量级的CNN骨干和一个多视角切片自注意力（Mamba）模块（MISM）组成。MISM模块集成了视觉状态空间块（VSSB）和切片间自注意力（ISSA）机制，通过非对称分割通道（ASC）策略有效减少了参数，实现了高效的三向特征提取。作者的轻量级模型仅需2.87M参数和126.44 GFLOPs，达到了优异的性能。
LKM-UNet:
03-11
该模型通过引入大内核 Mamba (Large Kernel Mamba, LKM)，有效地增强了网络的感受野范围，从而在保持局部特征的同时获取更广阔的上下文信息[^2]。 具体来说，传统的基于卷积神经网络的方法往往更加关注于捕捉图像中...
LKM-光纤：高级操作系统和虚拟化项目（20172018）课程在罗马大学萨皮恩扎市举行
02-04
在本文档中，我们以Windows NT和ReactOS提供的Fibers实现为参考，介绍了可加载内核模块（LKM）实现。 虽然用户空间实现通常因其开销少且易于调试而成为首选，但是内核空间实现允许更深入地了解内核子系统的工作方式...
【论文阅读】VGGT: Visual Geometry Grounded Transformer
eepii的博客
01-01 770
每张图像被切割成固定大小的补丁（Patches），并加上位置编码（Positional Encoding）和视角编码（View Encoding），以便让模型知道某个 Token 属于哪张图的哪个位置。骨干网络 (Transformer Backbone)：采用类似于 ViT（Vision Transformer）的架构。这意味着模型在这一阶段就已经在隐式地进行“特征匹配”和“三角测量”了。输入编码 (Tokenization)：模型接收。注：所有位姿预测均以第一张图为参考系。旋转误差：计算预测四元数。
【论文阅读】--PEACE：基于多模态大语言模型的地质图全息理解赋能框架
我是个好人呀，O(∩_∩)O
01-06 984
摘要： 微软研究院提出PEACE框架（赋能地质地图整体理解的多模态大语言模型），通过GeoMap-Agent系统解决地质图智能分析难题。该系统包含三个核心模块：层次信息提取（HIE）采用分治策略处理高分辨率图像；领域知识注入（DKI）整合地质学专家知识；提示增强问答（PEQA）优化模型输出。配套发布的GeoMap-Bench基准包含124张地质图和3,864个标注问题，覆盖提取、定位、推理等五大能力维度。实验表明，该系统在USGS和CGS数据集上均显著优于基线模型，准确率提升30%以上。研究代码和数据集已开
论文笔记（一百一十七）WorldVLA Towards Autoregressive Action World Model Model
xzs1210652636的博客
12-31 1070
WorldVLA：一种自回归动作世界模型 本文提出WorldVLA模型，通过整合视觉-语言-动作(VLA)模型与世界模型，实现了动作与图像理解的统一框架。该模型采用三个独立分词器处理多模态输入，共享统一词表以支持跨模态生成。世界模型通过学习环境物理规律预测未来图像，提升动作生成能力；动作模型则基于图像观测生成动作序列，促进视觉理解。研究发现自回归动作生成存在误差累积问题，为此提出注意力掩码策略，在生成当前动作时有选择地遮蔽先前动作，有效缓解性能下降。实验表明，WorldVLA在LIBERO基准测试中抓取成功
【论文阅读】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
一碗白开水一
01-05 259
题目：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis作者：Ben Mildenhall Pratul P. Srinivasan Matthew Tancik Jonathan T. Barron Ravi Ramamoorthi Ren Ng。
Timer-XL: Long-Context Transformers For Unified Time Series Forecasting 时序论文阅读
最新发布
weixin_49891405的博客
01-06 516
同时预测 A 和 B。我们认为 A 和 B 是。
242-267 GHz双基地超外差雷达系统：面向精密太赫兹传感与成像的65nm CMOS实现——论文阅读
DuHz的博客
01-01 725
本文报道了一种242-267 GHz双基地超外差雷达系统，采用65nm CMOS工艺实现。该系统通过创新架构解决了传统FMCW雷达在太赫兹频段的动态范围、灵敏度和非线性问题。关键创新包括：采用独立TX/RX芯片的双基地配置提高隔离度；利用锁相放大器实现高精度相位测量；通过用户定义中频频率优化信噪比。系统实现了25 GHz带宽，距离精度达40 μm，速度精度80 μm/s，峰值EIRP为-2 dBm。理论分析表明距离精度与工作频率、积分时间和信噪比直接相关。该架构为精密太赫兹传感与成像提供了新的解决方案。
一月第一周周报（论文阅读）
m0_62847106的博客
01-04 799
人工智能和机器学习的最新进展加速了许多水文过程预测性能的提高。然而，由于其复杂性，洪水预测仍然是一项具有挑战性的任务。困扰这项任务的两个常见挑战是洪水的波动性和洪水发生属性的敏感性和复杂性。本研究探讨了递归神经网络-特别是Vanilla递归神经网络，长短期记忆和门控递归单元在洪水预测和评估中的应用。通过整合流域特定的水文和气象变量，RNN模型利用顺序数据处理来捕捉洪水的时间动态和季节性模式特征。这些模型被应用于不同的地形，包括USA南卡罗来纳州的山区流域，以检验它们的稳健性和适应性。
【论文阅读】RoboReward: General-Purpose Vision-Language Reward Models for Robotics
eepii的博客
01-06 674
其核心是通过一套负样本数据增强流水线（包括反事实重标记和时间裁剪），从现有的以成功案例为主的数据集中生成失败和“险些成功”的示例，从而训练出通用的 4B/8B 参数视觉语言奖励模型。反事实重标记（Counterfactual Relabeling）：保持视频内容不变，但通过 LLM 生成与视频动作不符或仅部分符合的错误指令，并分配低分（例如：视频是“捡起碗”，指令被改为“捡起叉子”）。模型规模：训练了 40 亿（4B）和 80 亿（8B）参数的通用视觉语言奖励模型。
UltraLED: Learning to See Everything in Ultra-High Dynamic Range Scenes 【论文阅读】
weixin_47020721的博客
01-03 698
超高动态范围（UHDR）场景在明亮区域和黑暗区域之间表现出显著的曝光差异。这种情况在有光源的夜间场景中很常见。即使使用标准曝光设置，也常常会出现具有边界峰值的双峰强度分布，这使得同时保留高光和阴影细节变得困难。基于RGB的包围曝光方法可以通过长短曝光对捕捉两端的细节，但容易出现错位和重影伪影。我们发现，短曝光图像已经保留了足够的高光细节。超高动态范围（UHDR）重建的主要挑战在于降噪和恢复暗部区域的信息。与RGB图像相比，RAW图像由于其更高的位深度和更可预测的噪声特性，在应对这一挑战方面具有更大的潜力。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值