张量化网络论文汇总

用张量分解的方法压缩神经网络模型这一方向还有哪些坑可以挖呢？这是我研究生以来一直研究的问题。看了很多论文，感觉大体可以分为两条line:

(一)基于低秩近似的张量分解方法。也就是对原有的模型参数做低秩张量分解，用分解后得到的因子替换原有的大张量。这一过程后通常还需要一个fine-tune的过程。其中的难点就是怎么从大的张量中保留最有价值的参数留下来，作为一个很好的初始参数值。（二）用张量分解得到的因子重新定义新的网络结构，新的张量计算方法代替原来的卷积操作或全连接层的矩阵运算。

这一方法姑且就叫张量化网络吧，下面是该方向的论文汇总，按时间顺序排列。

1. 《Tensorizing Neural Networks》(NIPS2015)
2. 《Ultimate tensorization compressing convolutional and FC layers alike》（NIPS2016 workshop）
3. 《Compressing recurrent neural network with tensor train 》(IJCNN2017)
4. 《Tensor-Train Recurrent Neural Networks for Video Classification》(ICML2017)
5. 《Learning Compact Recurrent Neural Networks with Block-Term Tensor Decomposition》（CVPR2018）
6. 《Sharing Residual Units Through Collective Tensor Factorization》(IJCAI2018)
7. 《Tensor Regression Networks》（2018）
8. 《Tensor Regression Networks with various Low-RankTensor Approximations》（2018）
9. 《Wide Compression,Tensor Ring Nets 》(CVPR2018)