Sklearn 与 TensorFlow 机器学习实用指南——第十三章习题答案

1. 对于图像分类CNN相对于完全连接的DNN有什么优势？
   由于卷积层仅部分连接，并且因为它大量重用其权重，因此CNN比完全连接的DNN具有更少的参数，这使得训练更快，降低过度拟合的风险，并且需要更少的训练数据。
当CNN学会了可以检测特定特征的卷积核时，它可以在图像的任何位置检测到该特征。相反，当DNN在一个位置学习一个特征时，它只能在该特定位置检测到它。由于图像通常具有重复的特征，因此使用较少的训练示例，CNN能够比DNN更好地用于图像处理任务（例如分类）。
DNN没有关于像素的组织方式的鲜艳知识; 它不知道附近的像素是否接近。CNN的结构嵌入了这一先验知识。较低层通常识别图像的小区域中的特征，而较高层将较低层特征组合成较大特征。这适用于大多数自然图像。

2. 考虑由三个卷积层组成的CNN，每个卷积层具有3×3卷积核，步长为2，以及SAME填充。 最低层输出100个特征图，中间一个输出200，顶部输出400.输入图像是200×300像素的RGB图像。CNN中的参数总数是多少？如果我们使用的是32位浮点数，那么在对单个实例进行预测时，该网络至少需要多少RAM？ 什么时候对50个图像的小批次进行训练？
   这是一个非常典型的计算参数的问题。 由于其第一个卷积层具有3×3卷积核，并且输入具有三个通道（红色，绿色和蓝色），因此每个特征图具有3×3×3权重，加上偏置项。那么每个特征图（feature map）有28个参数。 由于该第一卷积层具有100个特征图（feature map）&#x