扈海波的博客

38、 [判断] 你在一个拥有 100 种不同的分类的数据集上训练一个卷积神经网络，你想要知道是否能够找到一个对猫的图片很敏感的隐藏节点（即在能够强烈激活该节点的图像大多数都是猫的图片的节点），你更有可能在第 4 层找到该节点而不是在第 1 层更有可能找到。因此，题目中的说法是正确的，答案为 T。39、 [判断] 面部验证只需要将新图片与 1 个人的面部进行比较，而面部识别则需要将新图片与 K 个人的面部进行比较。的人脸，这个过程需要将新图片与 K 个人的面部进行比较，因此本题的说法也是正确的。

参数共享是指卷积核在不同的位置使用相同的参数，这种特性可以使得模型对于输入的平移、旋转等变换具有一定的不变性。24、 [判断] 有一些函数具有以下特性：(i)当使用浅网络计算时，需要一个大网络（我们通过网络中的逻辑门数量来度量大小），但是（ii）当使用深网络来计算时，我们只需要一个指数级小的网络。25、 [判断] 在学习词嵌入时，我们创建了一个预测的任务，如果这个预测做的不是很好那也是没有关系的，因为这个任务更重要的是学习了一组有用的嵌入词。在使用浅网络计算时，需要一个大网络来实现复杂的功能，所。

19、 [判断] 您的目标是检测道路标志（停车标志、行人过路标志、前方施工标志）和交通信号（红灯和绿灯）的图片，目标是识别这些图片中的哪一个标志出现在每个图片中。具体的做法是随机初始化 K 个簇中心点，然后将每个数据点分配到距离最近的簇中心点所在的簇中，再根据每个簇中的数据点重新计算该簇的中心点，重复以上步骤直至簇中心点不再发生变化或达到预设的迭代次数。20、 [判断] 为了构建一个非常深的网络，我们经常在卷积层使用“valid”的填充，只使用池化层来缩小激活值的宽/高度，否则的话就会使得输入迅速的变小。

对于重叠数据点，SVM 可能无法正确分类所有数据点，因为 SVM 的损失函数只考虑了分类错误的数据点，而对于重叠数据点无法确定其分类。10、 [判断] 在前向传播期间，在层$l$的前向传播函数中，您需要知道层$l$中的激活函数（Sigmoid，tanh，ReLU 等）是什么。7、 [判断] 找到好的超参数的值是非常耗时的，所以通常情况下你应该在项目开始时做一次，并尝试找到非常好的超参数，这样你就不必再次重新调整它们。当模型的方差较高时，说明模型过于复杂，可能出现过拟合的情况，此时可以通过。

错误，梯度检查可以帮助验证反向传播的实现是否正确，无论使用何种优化算法。均互信息是一种衡量特征与类别之间相关性的方法，通过计算特征和类别之间的互信息来衡量特征的重要性。• B ： 在倾斜的数据集上（例如，当有更多的正面例子而不是负面例子时），准确度不是一个很好的性能度量，您应该根据准确度和召回率使用 F1 分数。因此，本题的正确答案是 ABC，选项 D 错误。因此，选项 A 和 D 是正确的，选项 B 和 C 是错误的。C 错误，逻辑回归分类。器可以根据应用程序的需求使用不同的阈值，而不是固定的 0.5。

假设你有一个 7x7 矩阵 X，你想计算每个元素的对数，每个元素的平方，每个元素加 1，每个元素除以 4。B：减少训练集中的示例数，减少训练集中的示例数通常会降低模型的性能，因为更少的数据可能不足以代表整个数据集。• A ： 由于网络延迟和其他与 map-reduce 相关的开销，如果我们使用 N台计算机运行 map-reduce，与使用 1 台计算机相比，我们可能会得到小于 N 倍的加速。• C ：假设你正在训练一个正则化线性回归模型，推荐的选择正则化参数值的方法是选择给出最小训练集误差的值。

D：GBDT 不需要对特征做归一化处理，因为 GBDT 是基于树的算法，树的分裂只与特征的大小顺序有关，与具体的特征取值无关。异常检测算法的性能通常无法与有监督的学习算法相比，因为异常数据通常是少数的，而正常数据占多数。• C ： 在决策树中，随着树中节点变得太大，即使模型的训练误差还在继续减低，但是检验误差开始增大，这是出现了模型拟合不足的问题。• B ：如果你有一个带有许多正例子和许多负例子的训练集，那么异常检测算法的性能可能与有监督的学习算法（如支持向量机）一样好。的特征，其权重的大小也会有所不同。

选项 A 中只重新训练最后一层，因为最后一层是根据具体问题的输出维度进行的定制，它需要根据具体问题进行训练。在迁移学习中，我们通常只需要对预先训练好的神经网络的最后几层进行微调(finetune)来适应特定的问题。22、 [单选] 假设你的输入是 300×300 彩色（RGB）图像，并且你使用卷积层和 100 个过滤器，每个过滤器都是 5×5 的大小，请问这个隐藏层有多少个参数（包括偏置参数）？24、 [单选] 在训练神经网络时，损失函数(loss)在最初的几个 epochs 时没有下降，可能的原因是？

• A：如果你在 256 个例子的 mini-batch 上实现了批标准化，那么如果你要在一个测试例子上进行评估，你应该将这个例子重复 256 次，这样你就可以使用和训练时大小相同的 mini-batch 进行预测。正确答案是 D，因为在评估时，应该使用在训练期间通过指数加权平均值得出的$\mu$和$\sigma^2$来执行所需的标准化。• D：执行所需的标准化，使用在训练期间，通过指数加权平均值得出的$\mu$和$\sigma^2$解析：选项 A 是错误的，因为在评估时不需要使用 mini-batch。

3、 [单选] 已知：-大脑是有很多个叫做神经元的东西构成，神经网络是对大脑的简单的数学表达。代入数据得：$$\frac{(63-7)}{2}+1=29$$ 因为使用了 32 个过滤器，所以最终的输出大小为29x29x32，故选项 A 为正确答案。1、 [单选] 你有一个 63x63x16 的输入，并使用大小为 7x7 的 32 个过滤器进行卷积，使用步幅为 2 和无填充，请问输出是多少？因为按行求和后得到的是一个$4\times1$的列向量，加上 keepdims=True 后，因此，正确答案为 B。

28、 [判断] 对于随机森林和 GradientBoostingTrees，我们可以并行地生成GradientBoostingTrees 单个树，因为它们之间是没有依赖的，GradientBoostingTrees 训练模型的表现总是比随机森林好。因为它们之间是没有依赖的，但是对于 GradientBoostingTrees，不同的树之间是有依赖的，需要按照顺序逐一生成。解析：过拟合指的是模型在训练集上表现很好，但是在测试集或新数据上表现较差的现象，是机器学习中普遍存在的问题。所以，这个说法是错误的。

解析：神经网络并不是一个崭新的领域，它的理论和应用已经有数十年的历史。习之所以崛起，是因为近年来计算能力的提升和数据量的增加，使得深度学习的应用效果。14、 [判断] 模式识别中，马式距离较之于欧式距离的优点的是考虑了模式的分布。息论的交叉熵概念，能够同时考虑特征的预测准确性和特征的复杂度，从而选择最优的特。解析：神经网络的前面的层通常计算更简单的特性，例如边缘、线条等。可以增加数据的多样性，减少模型的方差，从而使模型更加健壮，减少过拟合的风险。而导致的收敛速度慢的问题，可以加速成本函数的优化。

8、 [判断] 你现在用拥有的是 3D 的数据，现在构建一个网络层，其输入的卷积是 32×32×32×1632×32×32×16（此卷积有 16 个通道），对其使用 3232 个3×3×33×3×3 的过滤器（无填充，步长为 1）进行卷积操作，请问输出的卷积是 30×30×30×32。解析：根据题目中的信息，输入的卷积是 32×32×32×16，过滤器尺寸是 3×3×3，步长为 1，无填充，使用了 32 个过滤器。成为一张新的图像，使得新图像的内容与内容图像相似，而风格与风格图像相似。

选项 C 也是正确的，因为上限分析可以让我们知道某个模块的精度提高到一定程度就无法带来整个系统精度的提升，因此可以节省我们的时间和精力。成对删除是针对特定的两个变量，如果其中一个变量存在缺失值，则同时删除这个样本中的另一个变量。解析：在 Q-learning 中，更新公式为：Q(s,a)←(1−α)Q(s,a)+α(r+γmaxa′Q(s′,a′))，其中 α。• A ： 在状态 s^'时计算的 Q(s^',a^')，对应的动作 a^'并没有真正执行，只是用来更新当前 Q 值。综上所述，选项 BC 正确。

C.错误，A3C 算法是 on-policy 的算法，即它的策略更新是基于当前策略下的样本来进行的。D.正确，由于 A3C 算法是 on-policy 的算法，因此它只能利用当前策略下的样本来更新策略，不能利用历史策略下的样本。项 C 也是正确的，因为 Q-learning 算法在更新时是不考虑下一步的动作的，而 Sarsa 算法。化学习算法，具体来说，它是 Actor-Critic 算法的并行化版本。法，即 Sarsa 算法更新 Q 值时使用的是当前策略下的动作和下一步的状态的 Q 值，而 Q。

解析：A 选项是错误的，因为将所有权重初始化为 0 会导致每个隐藏单元都输出相同的值，使得神经网络无法学习。B、C、D 选项是正确的。尝试调整学习率可以影响梯度下降的步长，进而影响参数的更新速度，从而找到更优的参数值。假设您的分类器在训练集上有 0.5％的错误，以及测试集上有 7％的错误。对的，CNN 和 RNN 在不同的问题上都有它们的优缺点。选项 B、C、D 都是使用卷积网络的开源实现的常见原因，因此答案为 BCD。• B ： 为一个计算机视觉任务训练的参数通常对其他计算机视觉任务的预训练是有用的。

解析：在标准化公式中，分母为$\sqrt{\sigma^2}$，当样本方差为 0 时，分母将出现除以 0的情况，导致无法进行标准化。机器学习中，我们通常会有多个指标需要考虑，但不同的指标可能会存在相互矛盾的问题，比如，在优化准确度的同时可能会牺牲运行时间或内存大小的性能，因此需要在不同指标之间进行权衡取舍。• D：给定ｎ个数据点，如果其中一半用于训练，另一半用于测试，则训练误差和测试误差之间的差别会随着ｎ的增加而减小。解析：A 选项：AdaGrad 使用的是一阶差分，这个说法是正确的。SVM 对噪声敏感。

这是正确的，因为准确度是我们想要最大化的指标，而运行时间和内存大小是我们希望最小化的指标。选项 D 中，将准确度、运行时间和内存大小都视为令人满意的指标，这是不正确的。• D：GPU 所配置的显存的大小，对于在该 GPU 上训练的深度神经网络的复杂度、训练数据的批次规模等，都是一个无法忽视的影响因素。• D：我们使用它将向后传播计算的变量传递给相应的正向传播步骤，它包含用于计算计算激活的正向传播的有用值。• B：我们用它传递前向传播中计算的变量到相应的反向传播步骤，它包含用于计算导数的反向传播的有用值。

根据给出的选项，选 C 是最好的选择，因为 C 选项中的开发集和测试集大小相当，且训练集的大小足够大，可以训练出较好的模型。解析：权重共享是指在神经网络中，多个神经元之间的权重参数是共享的，而不是独立的。• A：Train〔训练集〕 Dev〔开发集〕 Test〔测试集〕6,000,000 1,000,000 3,000,000。• B：Train〔训练集〕 Dev〔开发集〕 Test〔测试集〕6,000,000 3,000,000 6,000,000。因此，选项 A 和 B 都是错误的。

选项 A 中的“全局值”表述不准确，应该是“全局变量”，因为每个神经元的输出值都会受到$\gamma$和$\beta$的影响。选项 C是正确的，因为$\gamma$和$\beta$用来调整每个神经元的输出值，从而使得每个隐藏层的输出值的均值和方差保持稳定。选项 D 中的公式是不正确的，因为$\mu$和。5、 [单选] 你训练了一个系统，其误差度如下（误差度=100%-准确度）训练集误差 4.0%测试集误差 4.5%这表明，提高性能的一个很好的途径是训练一个更大的网络，以降低 4%的训练误差。

而 PCA 则是一种线性降维方法，它通过计算数据的协方差矩阵，找到数据中最大的方差方向，然后将数据投影到这个方向上，从而达到降维的目的。假如现在我们用另一种维度下降的方法，比如说主成分分析法（PCA）来代替这个隐藏层，那么，这两者的输出效果是一样的。35、 [判断] Logistic 回归的权重 w 应该随机初始化，而不是全零，因为如果初始化为全零，那么逻辑回归将无法学习到有用的决策边界，因为它将无法“破坏对称性”，是正确的吗？解析：隐藏层和 PCA 都可以起到降维的作用，但是它们的本质是不同的。

29、 [判断] 你在一个拥有 100 种不同的分类的数据集上训练一个卷积神经网络，你想要知道是否能够找到一个对猫的图片很敏感的隐藏节点（即在能够强烈激活该节点的图像大多数都是猫的图片的节点），你更有可能在第 4 层找到该节点而不是在第 1 层更有可能找到。为：$$C=\sum_i\sum_jp_{ij}\log\frac{p_{ij}}{q_{ij}}$$我们可以发现，$i$和$j$对$C$的贡献是对称的，即$C_{ij}=C_{ji}$。管理的方法包括但不限于：清晰的项目愿景和目标、透明的。

19、 [判断] 当一个有经验的深度学习工程师处理一个新问题时，他们通常可以在第一次尝试时利用以前问题的洞察力来训练一个好的模型，而不需要在不同的模型中重复多次。13、 [判断] 逻辑回归的权重 w 应该随机初始化，而不是全部初始化为全部零，否则，逻辑回归将无法学习有用的决策边界，因为它将无法“打破对称”14、 [判断] 为了训练人脸识别系统的参数，使用包含了 10 万个不同的人的 10万张图片的数据集进行训练是合理的。同时，使用更高的 k 值意味着保留更多的信息，模型的复杂度会增加，需要。

5、 [判断] 在训练课程中描述的一个对象检测系统中，您需要一个训练集，其中包含许多要检测的对象的图片。8、 [判断] tanh 激活函数通常比隐藏层单元的 sigmoid 激活函数效果更好，因为其输出的平均值更接近于零，因此它将数据集中在下一层是更好的选择。解析：tanh 激活函数的输出值范围是[-1,1]，而 sigmoid 激活函数的输出值范围是[0,1]，因。因此，对于高维度的数据集，应用 PCA 算法。解析：增加步长会降低准确性，因为每个窗口之间的重叠部分会减少，导致捕捉到的特征。

C 选项的说法是正确的，如果 mini-batch 的大小是 1，那么就失去了 mini-batch 将数据矢量化带来的好处，因为矢量化需要多个数据点一起处理才能发挥出优势。选项 A 中的隐藏层规模是神经网络中的一个超参数，选项 B 中的神经网络层数也是神经网络中的一个超参数，选项 C 中的激活向量是神经网络中的中间变量，不是超参数，选项 D中的权重矩阵也不是超参数。• C ：这可以让我们使用 softmax 输出单元来学习预测一个人的身份，在这个单元中分类的数量等于数据库中的人的数量加 1。

B 选项正确，Inception 块中通常会使用 1x1 的卷积来减少输入卷积的大小，然后再使用 3x3 和 5x5 的卷积来提取不同尺度的特征。由于有多年的猫探测器的工作经验，你有一个巨大的数据集，你有 100,000,000 猫的图像，训练这个数据需要大约两个星期。解析：BC 项是正确的。• C ： 如果 10,000,000 个样本就足以建立一个足够好的猫探测器，你最好用 10,000,00 个样本训练，从而使您可以快速运行实验的速度提高约10 倍，即使每个模型表现差一点因为它的训练数据较少。

将有 100 万张图片的数据集分割为：有 60万张图片的训练集、有 20 万张图片的开发集和有 20 万张图片的测试集。将有 100 万张图片的数据集分割为：有 98万张图片的训练集、有 1 万张图片的开发集和有 1 万张图片的测试集。35、 [单选] 你所关心的数据的分布包含了你汽车的前置摄像头的图片，这与你在网上找到并下载的图片不同。• C：选择从互联网上的 90 万张图片和汽车前置摄像头的 8 万张图片作为训练集，剩余的 2 万张图片在开发集和测试集中平均分配。因此，选项 D 都可以是正确的。

同理，在计算 A(BC)时，第一步计算 BC 的结果矩阵的尺寸为 p∗q，第二步计算(m∗p)×(p∗q)的矩阵乘积，总的计算量为 O(mpq+mpq)。24、 [单选] 深度学习是当前很热门的机器学习算法，在深度学习中，涉及到大量的矩阵相乘，现在需要计算三个稠密矩阵 A，B，C 的乘积 ABC,假设三个矩阵的尺寸分别为 m∗n，n∗p，p∗q，且 m<n<p<q，以下计算顺序效率最高的是（）由于矩阵 A，B，C 的尺寸分别为 m∗n，n∗p，p∗q，且 m<n<p<q，因此在计算(AB)C 时，

但在过去几个月中，一种新的鸟类已经慢慢迁移到该地区，因此你的系统的性能会逐渐下降，因为您的系统正在测试一种新类型的数据。你只有 1000 张新鸟类的图像，在未来的 3 个月里，城市希望你能更新为更好的系统。均时使用了前两个值，因此我们需要进行偏差修正，即：$v_t^{corrected}=\frac{v_t}{1-\beta^t}$因此，$v_2^{corrected}$应该是：$v_2^{corrected}=\frac{v_2}{1-\beta^2}=\frac{7.5}{1-0.5^2}=10$。

4、 [单选] 在 CNN 网络中，图 A 经过核为 3x3，步长为 2 的卷积层，ReLU 激活函数层，BN 层，以及一个步长为 2，核为 2*2 的池化层后，再经过一个 3*3的的卷积层，步长为 1，此时的感受野是（）2、 [单选] 你有一个 32x32x16 的输入，并使用步幅为 2、过滤器大小为 2 的最大池化，请问输出是多少？解析：相加后的 c 矩阵的维度应该和 a 矩阵的维度相同，即为(2,3)，因此正确答案为 C。风格图像 S 的像素值匹配，同时保留内容图像 C 的信息。

【代码】代码练习系列（五）——设计一个可用于计算机视觉任务的数据增强处理。

【代码】代码练习系列（四）——对指定语料（corpus文件夹下所有内容）构建字典。

【代码】代码练习系列（三）——搭建一个可用于垃圾短信分类的循环神经网络模型。

【代码】代码练习系列（二）——搭建一个可用于手写数字识别的卷积网络模型（黑白图像，28*28大小，10个分类）

【代码】代码练习系列（一）——搭建一个可用于波士顿房价预测的全连接网络模型。