sinat_38856440的博客

用张量分解的方法压缩神经网络模型这一方向还有哪些坑可以挖呢？这是我研究生以来一直研究的问题。看了很多论文，感觉大体可以分为两条line:(一)基于低秩近似的张量分解方法。也就是对原有的模型参数做低秩张量分解，用分解后得到的因子替换原有的大张量。这一过程后通常还需要一个fine-tune的过程。其中的难点就是怎么从大的张量中保留最有价值的参数留下来，作为一个很好的初始参数值。（二）用张量分解得到...

近期读了一篇论文《A Survey on Transfer Learning》,作者Sinno Jialin Pan and Qiang Yang,了解了迁移学习方面的一些基础知识。以下是我的学习记录，只代表我个人的理解，不能保证正确性。传统的机器学习算法通常有一个假设：训练数据和测试数据处在相同的特征空间和相同的分布。但是在实际情况中，这个条件往往不能满足。例如，我们想预测一个新商品的用户接受程...