深度学习的数学

本文参考《深度学习的数学》-涌井良幸 涌井贞美著 杨瑞龙译【人民邮电出版社】

神经网络重点、难点总结

当训练样本不足，网络参数过多时，模型容易发生过拟合
每层需要的卷积核不止一个
针对模型的安全性，主要有两种保护类型:防御和认证。防御的重点是探测和删除。
后门攻击被认为是对深度学习的严重安全威胁。这种攻击可以使模型在带有预定义触发器的输入上表现异常，但在干净的数据上仍然保持最先进的性能。
下采样模式(池层)、下采样层主要有两个功能:降低特征图的维数，并在一定程度上保持特征的尺度不变性特征
偏置也就相当于阈值

输入层神经元的个数给像素的个数是相同的？
比如要读取4*3像素的图像，输入神经元有12个
隐藏层神经元的个数给什么有关？
设计者的预估，不同的神经元有不同的偏好
除了各层之间传递的兴奋度信息之外，还有噪声，噪声导致无法正确的传递兴奋度信息，需要减少噪声的功能，被称为偏置。
如果将隐藏层和输出层的每个神经元看做一个恶魔，那么恶魔之间的关系就被称为权重，恶魔心的偏置为偏置。输入层为恶魔的手下。
神经网络的权重可以是负数

神经网络需要用到的函数

y=ax+b (正向传播)
y=ax(2）+bx+c(代价函数)
阶跃函数，指数函数（激活函数）
正态分布函数（设置权