【AI视野·今日CV 计算机视觉论文速览第151期】Tue, 6 Aug 2019-优快云博客

本文链接：https://blog.youkuaiyun.com/u014636245/article/details/98663065

AI视野·今日CS.CV 计算机视觉论文速览
Tue, 6 Aug 2019
Totally 63 papers
👉上期速览✈更多精彩请移步主页

在这里插入图片描述

Interesting:

📚CRNet基于卷积稀疏编码的图像超分辨技术,卷积稀疏编码(CSC)技术由于可以利用图像全局的相关性改进算法表现，受到越来越多的关注。这篇文章探索了卷积稀疏编码与常规卷积的关系，并研究了卷积迭代软阈值(Iterative Soft Thresholding Algorithm (ISTA) [5] ,CISTA)的方法来解决稀疏编码问题，并利用CNN架构实现，同时引入了前处理和后处理上采样架构来解决图像超分辨问题。(from 武汉大学)
CISTA的架构如下：
在这里插入图片描述
基于这种稀疏编码方法研究人员分别提出了上采样的前处理和后处理架构，其中CISTA模块在模型中对低分辨特征按照迭代的方式进行稀疏编码：

最终在x4图像超分辨上的表现如下图所示：

与其他模型在结构上的区别：
在这里插入图片描述

📚SESF-Fuse多景深图像的融合技术, 研究人员提出了一种非监督的深度学习模型用于融合多焦段的图像。由于在景深中的物体才有锐利清晰的显示，而其他离焦物体则会变得模糊。研究人员通过估计决策图的方式来融合不同焦段的图像，充分利用了深度特征来代替原始图像进行融合。(from 北京科技大学)
方法的框架如下图所示，首先训练编码器用于从输入图像中获取深度特征、随后利用这些特征和频率来测量活跃度和决策图，最后利用连续性验证方法来调整决策图并得到融合的结果。
在这里插入图片描述
特征融合获取决策图的方法，其中利用特征梯度(空间频率)代替特征强度来计算活跃级别（activity level）：

基于这种方法得到的结果及比较：

📚CameraNet图像原始信号处理的网络模型,将卷积神经网络用于相机的原始信号处理以获取高质量的RGB图像，模型包含了修复部分和提升部分，利用分离训练的方法并合成构成工作流。(from 香港理工)
用于图像修复和提升的基本Unet架构，整个CameraNet系统包含了两个修复网络和两个颜色空间线性变换：
在这里插入图片描述
网络的具体架构如下图所示，其中修复图像训练的raw数据来源于Adobe Camera Raw，提升图像的训练数据来源于LightRoom。（数据用adobe 软件构建）研究人员将ISP的任务归结为图像修复(mainly including demosaicking,denoising and white balance.)和提升(exposure adjustment, tone mapping and color enhancement)两个部分,from part 3.B
在这里插入图片描述
一些实现的结果：

以及与相关方法的指标比较：

Dataset: The simplest creation method is to use Adobe software or DCRaw to process the input raw image and sequentially obtain a restored image and an enhanced image as groundtruths.
Benchmark：HDR+(details), SID and FiveK+(color style) datasets

📚Attentive Normalization 新的归一化方法注意力归一化,基于batchnormal研究人员们开发出了GroupNormal和SwitchableNormal等方法来从不同的角度考虑minibatch内的均值和方差以及特征归一化，随后进行可学习的逐通道的仿射变换。而局域序列-激活（SE）的逐通道特征注意力方法则着重校准逐通道的特征。在这篇文章中，研究人员提出了一种联合特征归一化和特种通道注意力的方法AttentiveNoramal，将序列激活的优点集成到BN中。AN为每个通道学习小规模的尺度和偏置参数，并将权重的和用于最终的仿射变换。这些权重浴室里相关，并基于逐通道的注意力来学习，基于SE的思想补充了BN的不足。(from 北卡大学)
在这里插入图片描述
可以看到新的归一化方法权重方差更小，特征更为相似：

# pytorch中AN的代码实现
class AttenNorm(nn.BatchNorm2d):
	def _init_( self , C, K, eps, momentum, running):
		super(AttenNorm, self )._init_(C, eps=eps, momentum=momentum, affine=False, track_running_)stats=running)
		self.gamma = nn.Parameter(torch.Tensor(K, C))
		self.beta = nn.Parameter( torch .Tensor(K, C))
		self.avgpool = nn.AdaptiveAvgPool2d(1)
		self.fc = nn.Linear (C, K)
		self.sigmoid = nn.Sigmoid()
		
	def forward( self , x):
		output = super(AttenNorm, self ) . forward(x)
		size = output . size ()
		b, c,_,_= x. size ()
		y = self.avgpool(x) . view(b, c)
		y = self.fc (y)
		y = self.sigmoid(y)
		gamma = y @ self.gamma
		beta = y @ self . beta
		gamma = weight.unsqueeze(−1).unsqueeze(−1).expand(size)
		beta = bias . unsqueeze(−1).unsqueeze(−1).expand(size)
		return gamma ∗ output + beta

#ref super():https://zhuanlan.zhihu.com/p/34317467
# https://www.runoob.com/python/python-func-super.html

code:http://github.com/ivMCL/AttentiveNorm
ref:swithchnormal:https://github.com/switchablenorms/SwitchNorm_Detection/blob/master/lib/nn/modules/normalization.py

Daily Computer Vision Papers

+++快速语义分割架构搜索方法SqueezeNAS: Fast neural architecture search for faster semantic segmentation
Authors Albert Shaw, Daniel Hunter, Forrest Iandola, Sammy Sidhu
对于利用深度神经网络DNN的实时应用，模型在目标任务上实现高精度并在目标计算平台上实现低延迟推断至关重要。虽然神经架构搜索NAS已被有效地用于开发用于图