相似线性表征学习：自适应、极小极大与鲁棒性

摘要

表征多任务学习（MTL）在实践中取得了巨大成功。然而，对这些方法的理论理解仍然不足。大多数现有理论工作关注所有任务共享相同表征的情况，并声称MTL几乎总能提高性能。然而，随着任务数量的增长，假设所有任务共享相同表征是不现实的。此外，实证研究结果通常表明共享表征不一定能提高单任务学习性能。在本文中，我们旨在理解如何从具有相似但不完全相同的线性表征的任务中学习，同时处理异常任务。假设已知内在维度，我们提出了一种惩罚经验风险最小化方法和一种谱方法，这些方法能够自适应相似性结构并对异常任务具有鲁棒性。当跨任务表征足够相似且异常任务比例较小时，两种算法均优于单任务学习。此外，即使表征不相似，它们也始终表现至少与单任务学习一样好。我们提供了信息论下界来证明这两种方法在大范围内都是近极小最优的，其中谱方法在没有异常任务时是最优的。另外，我们引入了一种阈值算法来自适应未知的内在维度。我们进行了广泛的数值实验来验证我们的理论发现。

[abs][pdf][bib]
[code]
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）