阿卧鹅

1. BP算法神经网络的训练过程就是确定每层函数的权重W 和偏置b。为了确定权重和偏执，神经网络采用梯度下降的的方式，即对所有参数设定一个不为零的随机初始值，然后对各个参数求偏导，得到梯度反方向后进行不断迭代。BP算法目的是解决一个问题：复合函数的求导。2.一个简单的例子来源：https://www.zhihu.com/question/27239198 作者：Anonymou...

文件下载地址：官网http://yann.lecun.com/exdb/mnist/百度云原来的链接挂掉了，这是最新的链接链接: https://pan.baidu.com/s/17XEAenW2RejJ1sQ_3cC5Eg 提取码: kfkx复制这段内容后打开百度网盘手机App，操作更方便哦1.Mnist数据集包括四个文件train-images-idx3-uby...

一. 相关概念1. 各种熵（1）自信息信息理论认为，一个事件的信息量大小和它发生的概率相关。发生概率越大，信息量越小。发生概率越小，信息量越大。根据信息量要非负，可以相加等一系列性质，反正最后香农爸爸发现，负log函数是唯一满足要求的。因此自信息定义为画成图的话，大概就是和概率成一个反比的样子。(2)信息熵对于一个事件X，比如说明天是晴天还是阴天，我对这个事件预测的...

Prof Naftali Tishby提出用information bottleneck 的思路理解神经网络。主要文章有以下三篇：《The Information Bottleneck Method》：信息瓶颈理论的提出《Deep Learning and the Information Bottleneck Principle》：发现深度学习和信息瓶颈理论的存在关联《Opening ...

论文传送门：https://arxiv.org/pdf/1703.00810.pdf（一）简介上面这个图是论文中第一个实验结果，展示的是信息平面（Information plane）在训练过程中的变化。左图训练了5%的样本，右图训练了95%的样本。所谓 Information plane，和X-Y平面一样，也是一个平面，不过information plane的横纵坐标是互信息的...