该博客介绍了一种基于UNet架构的图像修复模型，通过金字塔上下文编码器（Pyramid Context Encoder）和注意力转移网络（Attention Transfer Network, ATN）解决图像缺失区域的重建问题。ATN利用高层语义信息填充低层特征图，以保持细节和语义一致性。模型还采用了多尺度解码器和对抗性训练损失，以提高视觉真实感和结构一致性。整体损失函数结合了对抗损失和金字塔L1损失，用于端到端训练。实验结果显示，该模型在图像修复任务中表现出色，特别是在纹理和结构恢复方面。
IEEE Conference Proceedings arXiv: Computer Vision and Pattern Recognition Jan 2019
解决的问题与改进
现有方法不能结合直接可视信息和深层语义信息。
- patch search等方缺少法高层语义一致性的理解。
- generative models的stacked constructions和poolings存在over-smooth, lack of visually-realistic等问题。
模型搭建
以UNet为骨架,能够在image-level 和 feature-level上填充缺失区域.
pyramid-context encoder：使用cross-layer 注意力传播和金字塔填充的机制
每一层的𝜓由这一层的feature map - 𝜙 和 更高一层的𝜓共同经过ATN（式中f）得到。
Attention Transfer Network(ATN)（即上面的f）
一、由高层语义重建特征图 ψ L \psi^L ψL填充下一层特征图的 ϕ L − 1 \phi^{L-1} ϕL−1，以获得下一层的重建特征图 ψ L − 1 \psi^{L-1} ψL−1。
-
首先提取 ψ l
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
