【LightTrack】《LightTrack：Finding Lightweight Neural Networks for Object Tracking via xxx》

《LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search》

CVPR-2021

---

---

1 Background and Motivation

基于深度学习的单目标跟踪发展迅速，但 increasingly heavy and expensive，limits their deployments in resource-constrained applications

本文采用 NAS 技术，自动搜索出更适合单目标跟踪的网络结构 LightTrack，性能提升明显，同时计算量和参数量都有所减少

2 Related Work

• Object Tracking
  more precise box estimation（anchor based or anchor free）
  more powerful backbone
  online update（ATOM / DiMP / ROAM）

• Neural Architecture Search
  search space to be continuous, such that the search can be optimized by the efficient gradient descent

3 Advantages / Contributions

分为主干和头部结构

template 和 search 是孪生结构，通过相关操作特征汇聚在一起

更多细节可以参考 【SiamRPN】《High Performance Visual Tracking With Siamese Region Proposal Network》

（1）用 one-shot NAS 自动搜索出更适合单目标跟踪的网络结构，LightTrack

（2）design a lightweight search space and a dedicated search pipeline for object tracking

4 Method

4.1 Preliminaries on One-Shot NAS

《Single Path One-Shot Neural Architecture Search with Uniform Sampling》（ECCV-2020）

来自 Single-Path One-Shot NAS遗传算法代码解读和编程技巧

（a）为了减少权重之间的耦合度，在每个Choice Block选择的时候必定会选择其中的一个choice——均匀采样策略，不存在恒等映射
（b）提出了一个基于权重共享的choice block, 其核心思想是预先分配一个最大通道个数的，然后随机选择通道个数，切分出对应的权重进行训练。通过权重共享策略，发现超网可以快速收敛。
来自 【神经网络搜索】Single Path One Shot

看看公式化表达

$\mathcal{N}$ 表示 supernet

$\mathcal{A}$ architecture search space——作者引入了 mobilenetv1 的 depthwise separable convolutions（【MobileNet】《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》）和 mobilenetv2 的 inverted residual structure（【MobileNet V2】《MobileNetV2：Inverted Residuals and Linear Bottlenecks》）

$W$ 是网络的权重

subnets $\alpha$