2017 NIPS《Deep Hyperspherical Learning》读后感

最新推荐文章于 2024-08-30 07:54:09 发布

原创

最新推荐文章于 2024-08-30 07:54:09 发布 · 768 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#HyperSpherical Learning #Normalization #Regularization

本文介绍了SphereConv，一种新型卷积层操作，它基于单位超球面上w和x之间的角度计算，而不是传统卷积的点积。SphereConv通过仅关注角度，实现了值域的规范化和范围约束，有助于优化、提高收敛性能和效率，并作为正则化的手段。此外，文章讨论了SphereConv与传统卷积的区别，以及SphereConv的几种实现形式，如线性、余弦和Sigmoid SphereConv。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文提出的是一个极其顶层的深度学习概念：Learning with angular information between w and x on Hyperspheres。本着这个精神，作者提出了SphereConve，depend on which SphereNet is established，which is then trained with Angualr Softmax loss。

SphereConv，就是一种有别于传统CNN中的卷积层的新型卷积层操作。传统卷积的activation value计算是求w（filter， or kernels， or feature template）和x（image patch or signals in general）的dot-product。而SphereConv，是projecting parameter (w) learning onto unit hyperspheres, where layer activations depend not on dot-product, but on the geodesic distance betweeen w and x. Geodesic distance, is essentially the angle between w and x.