【今日CV 计算机视觉论文速览第115期】Fri, 10 May 2019

本期速览涉及手持设备多帧超分辨、基于深度注意力采样模型处理宏像素、基于自编码器点云有损压缩算法、DeepClosestPoint学习点云注册配准、移动端视觉模型加速技术综述等前沿研究。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今日CS.CV 计算机视觉论文速览
Fri, 10 May 2019
Totally 57 papers
?上期速览✈更多精彩请移步主页

在这里插入图片描述

Interesting:

?****手持设备多帧超分辨, 手机上的相机与单反相比传感器小、孔径小像素少使得成像质量不如单反、信噪比也比较低。这篇文章中研究人员提出直接从彩色滤光阵列（color filter arrays，CFAs）中的原始图像序列得到完整的RGB图像，并有效处理了手的震颤，并在移动、遮挡、场景变化的情况下取得了很好的效果，同时在移动端处理12M照片只需要100ms。(from google research)
在这里插入图片描述

速度和精度分析：

一些惊艳的结果：

?基于深度注意力采样模型处理宏像素,通过注意力机制模块采样需要处理的位置，代替先前处理大图像的下采样方法，使用图像片作为输入。使得大图像的原分辨率处理成为可能。基于此研究人员推导出了无偏估计器和可以用SGD训练的模型。 (from 洛桑理工)
在这里插入图片描述

?**基于自编码器点云有损压缩算法, 第一个直接处理点云数据的压缩模型。基于自编码器实现。(from 北大)
点云压缩架构，从n个点压缩到m个点：
在这里插入图片描述
提出的压缩方法码率更低峰值信噪比更高：

entropy_bottleneck:https://tensorflow.github.io/compression/docs/entropy_bottleneck.html

?***Deep Closest Point学习点云注册配准的表示, 为了学习出两个点云间的刚体选择方程，克服ICP陷入局域最小值的局限，研究人员提出了利用深度网络实现点云配准的方法DCP。模型包含点云嵌入网络和注意里模块结合的点云生成阶段实现粗配准，随后利用可差分的奇异值分解层抽取最后的刚体变化。并在ModelNet40上进行训练.具有泛化性，全局特征抽取性能好(from MIT)
模型架构包含了转换器结构：
在这里插入图片描述
一些点云配准的效果：

ref:ICPs和PointNetLK Transformer
code:https://github.com/WangYueFt/dcp
author:https://people.csail.mit.edu/yuewang/
Geometric Data Processing group:https://groups.csail.mit.edu/gdpgroup/
prof solomon:https://people.csail.mit.edu/jsolomon/

?提出识别和检索方法对于单视角三维重建, 研究人员发现现有的网络模型都是基于编码器来从单图像恢复三维结构的，但利用图像分类（聚类）和检索来替换了发现得到的重建结果更好。统计上图像分类和自编码器不可区分，意味着自编码器在做分类而不是重建。研究人员对此进行了深入研究并提出了改进的方向。(from 弗莱堡大学 intel)
We show that encoder-decoder methods are statistically indistinguishable from these baselines, thus indicating that the current state of the art in single-view object reconstruction does not actually perform reconstruction but image classification. We identify aspects of popular experimental procedures that elicit this behavior and discuss ways to improve the current state of research.
在这里插入图片描述
不同方法不确定度与IoU与训练样本间的关系：

dataset:ShapeNet,[ShapeNet Core55.](Li Yi, Lin Shao, Manolis Savva, et al. Large-scale 3D shape reconstruction and segmentation from ShapeNet Core55.CoRR, abs/1710.06104, 2017. 3)
ref:***Open3D：Qian-Yi Zhou, Jaesik Park, and Vladlen Koltun. Open3D: Amodern library for 3D data processing.
Open3D, doc

?D2-Net局域特征的联合描述与检测网络, 提出了一种在极差的图像情况下找到像素级的特征描述子，利用卷积网络同时实现了稠密特征描述和特征检测。通过后处理得到的关键点比传统方法具有更鲁棒的特征。这种方法可以有效用于SFM等重建任务。(from DI, ENS Inria ETH Zurich )
一些很难匹配的结果依然效果很好：
在这里插入图片描述
文章提出的方法，第二种：

检测和描述网络的结构：

与相关方法的比较：

code:https://github.com/mihaidusmanu/d2-net
dataset: Aachen Day-Night localization dataset InLoc indoor localization benchmark

?Cycle-IR图像重定向,针对图像重定向（缩略图）重新调整大小的任务（图像缩略图技术，在不引入大畸变情况下改变尺寸来适应各种尺寸平面），研究人员提出了基于深度学习的方法，其想法来自于如果一个拉伸变形后的图像可以恢复出原始图像，那么意味着它是有效的retarget。同时通过感知连续损失保持图像前传的连续性。并提出了retarget网络IRNet，加入了空间和通道注意力模块，可以识别出视觉重要性区域。(from 复旦)
模型思想和架构图：
在这里插入图片描述
空间注意力模块和通道注意力模块：

一些结果显示本方法的有效性，可以消除畸变并保持比例结构：

相关方法比较：

code：https://github.com/mintanwei/Cycle-IR
RetargetMe dataset：http://people.csail.mit.edu/mrub/retargetme/
ref:https://blog.youkuaiyun.com/piaomiaoju/article/details/9165583
A Comparative Study of Image Retargeting：http://people.csail.mit.edu/mrub/papers/retBenchmark.pdf

?ROSA对抗样本鲁棒的显著性目标检测, 通过噪声的引入来摧毁对抗扰动，并在这一噪声的基础上进行有效的显著性预测,框架中还包含了部分分割来保持边缘摧毁对抗扰动和报纸内容。(from 香港大学)
在这里插入图片描述
加入本方法后对于对抗样本处理的稳定性：

?PPGNet, 提出了一种检测线元素的网络，通过图来描述线的交点、线和关系，并利用PPGNet来抽取了图像周的线元素。(from 上海科技大学)
在图表示中，交点和连线可以更为容易有效的表示出来。
在这里插入图片描述
模型的架构图

dataset:g York Urban and Wireframe
CVPR2019 code:https://github.com/svip-lab/PPGNet

?***移动端视觉模型的加速技术综述, 综述了适用于移动环境的架构、操作算法，基于强化学习和递归网络改进模型精度速度的方法，最后回顾了软硬件架构和芯片级移动端hpc的发展现状。(from 华为)
一些常用的移动端深度学习计算框架：
在这里插入图片描述

?Learning to Evolve, 将进化算法引入深度强化学习来得到比随机方法更好的策略，充分利用了进化中的变异和组合方式来实现。(from TUM)
在这里插入图片描述

?JD landmark, 106个人脸关键点定位数据集,包含约16000张人脸数据(from 京东AI 百度VIS，中科大美图科大讯飞Iflytekco)
数据样本和106个人脸关键点：
在这里插入图片描述
架构和评测方法(3.2部分包含了比赛参赛者的一些模型数据)：

project:https://facial-landmarks-localization-challenge.github.io/
68关键点：300-W, 300-VW and Menpo challenges
300W [11, 10, 16], composed of LFPW [1],AFW [9], HELEN [7] and IBUG [12],
https://ibug.doc.ic.ac.u