交叉熵的理解

yhblog

已于 2022-03-22 10:56:48 修改

阅读量140

点赞数

CC 4.0 BY-SA版权

分类专栏： AI 文章标签：交叉熵的理解

于 2022-03-22 10:55:27 首次发布

原文链接：https://blog.youkuaiyun.com/tsyccnh/article/details/79163834

AI 专栏收录该内容

23 篇文章

订阅专栏

本文探讨了卷积神经网络（CNN）如何通过卷积核找到输入与输出之间的映射关系。CNN的每一层都用于特征提取，增加网络层数能提高模型的逼近能力。通过最大似然概率（交叉熵）评估逼近效果，并利用拉格朗日乘子法和梯度下降调整卷积核参数。这些工具使CNN能够进行微调，构建出各种网络结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                    https://baike.baidu.com/item/%E4%BA%A4%E5%8F%89%E7%86%B5/8983241?fr=aladdin
https://blog.youkuaiyun.com/tsyccnh/article/details/79163834
关于CNN的理解，所有问题都可以归结为如何找出输入和输出之间的映射关系。数学中位置函数f，可以通过高阶导数+一组基逼近f，而对于当前问题，工程上如何解决的？CNN，每层nn都在抽取特征，也就是卷积核，这其实对应于高阶量，增加层数，等于增加逼近量。如果估计逼近效果，利用的是最大似然概率，也就是交叉熵；如何修改逼近系数（卷积核数值），利用lagrange乘子法，工程上使用梯度下降。有了以上工具，在CNN内进行微调，得到多种net。