四元数深度学习模型参数优化突破

某中心科学家荣获ICLR杰出论文奖

某中心高级应用科学家与合作者近日获悉，他们的研究论文荣获即将召开的国际学习表征会议（ICLR 2021）杰出论文奖，该会议致力于推动深度学习领域发展。

获奖论文《超越全连接层：使用1/n参数实现超复数乘法的参数化》由某中心高级应用科学家Aston Zhang与来自南洋理工大学、苏黎世联邦理工学院和蒙特利尔大学的六位研究人员共同完成。

神经网络经常包含所谓的全连接层，其中一层的每个节点都连接到下一层的所有节点。全连接层执行的操作通常建模为矩阵乘法。最近的研究表明，通过使用四元数（复数的四维推广）可以减少表示全连接层所需的参数数量。复数是结合了实数和虚数i（-1的平方根）的数字，而四元数则结合了实数和三个虚数i、j、k。

由于具有四个分量，四元数仅需要四分之一参数即可表示全连接层的操作。该论文阐述了如何将此概念扩展到更高维的超复数——具有四个虚部分量，或20个，或任意数量——从而实现更大的参数节省。

在开发能够捕捉任意超复数操作的数学表示时，研究人员发现同一表示也可以捕捉实数操作，例如矩阵乘法。他们找到了一种将任意超复数和实数统一在单一描述下的方法。

“论文审稿人帮助我们改进了论文，”Zhang表示，“他们建议我们探索如何在不同空间（如人工数据集）上经验学习预定义的乘法规则。”

预定义的四元数或实数系统中存在乘法规则。然而，仅依赖这些规则可能会限制深度学习的架构灵活性。

“通过从数据中学习乘法规则，用户可以基于自己的应用灵活指定或调整超复数的维度，即使这些数字或规则在数学上并不存在。”

论文合作者包括Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Cheung Hui和Jie Fu。在某中心，Zhang目前正在完成《深入深度学习》书籍的编写工作。

会议组织者指出，今年共收到860篇论文投稿，其中部分论文提交给会议杰出论文委员会评审。八篇获奖论文将于5月5日和6日在杰出论文专场进行展示。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）