一、为什么要做“阴影去除”?
在计算机视觉(CV)领域,这种“带影子的图像”会给后续工作添麻烦:比如用AI识别图像里的物体时,影子可能被误认成“小石块”“水坑”;用AI跟踪行人时,影子的移动可能让AI以为“人在变形状”。所以,“阴影去除”的目标很简单:把图像里的影子去掉,让影子区域的亮度、颜色和周围正常区域保持一致,同时不破坏图像原本的细节。
二、过去的方法有什么缺点?
在这篇论文之前,研究者们主要用两种思路做阴影去除,但都有明显问题:
1. 基于Transformer的方法(比如ShadowFormer)
-
优点:能“看到”整个图像的全局信息,比如知道“树的影子”应该和“树旁边的草地”颜色相近,从而关联影子和非影子区域。
-
缺点:合成图像的能力比较弱。简单说,就是去掉影子后,填补的区域可能和周围衔接不自然,会留下明显的“边界痕迹”,甚至还有没去干净的“残留影子”。
2. 基于扩散模型的方法(比如ShadowDiffusion)
-
优点:合成图像的能力强,填补的区域细节很真实(扩散模型是目前AI画图的主流技术之一,擅长生成自然的图像内容)。
-
缺点:不会利用全局信息。比如处理“墙角的影子”时,它只看影子周围的一小块区域,不知道“墙角的亮度应该和整个墙面一致”,导致去掉影子后,新区域和周围的亮度差很大,显得很假;而且它只能处理小尺寸的图像块(类似“拼图小块”),直接处理整张图会出问题。
三、Diff-Shadow模型怎么解决这些问题?
论文提出的“Diff-Shadow”,本质

最低0.47元/天 解锁文章
69

被折叠的 条评论
为什么被折叠?



