云水--禅心的专栏

上周去参加一个深度学习实习的面试，总的来说，比较惨，虽然也答出来不少，但是很多东西自己没有认真关注过，所以就很狼狈，所以在这里记录下，能回忆起的一点东西吧。接下来的几个问题都是自己根据查阅的博客以及资料总结的，所以如果有任何错误，希望能够批评指正！1、关于损失函数的写出cross entropy的计算公式                                         ...

过拟合和欠拟合欠拟合：模型不能在训练集上获得足够低的误差；过拟合：训练误差和测试误差之间的差距太大。通过调整模型的容量，可以控制模型是否偏向过拟合或者欠拟合。从预先知道的真实分布p(x,y)预测而出现的误差被称为贝叶斯误差。任何模型容量小于最优容量的固定参数模型会渐进到大于贝叶斯误差的误差值。没有免费午餐定理在所有可能的数据生成分布上平均之后，每一个分类算法在未事先观测的点...

从数据分布来看：参数模型和非参数模型如果待求解的概率分布或者数量关系可以用一组有限且固定数目的参数完全刻画，求出的模型就是参数模型；反之，不满足这个条件的模型就是非参数模型。其主要区别是总体的分布形式是否已知，非参数模型并不是指没有参数，而是参数个数不确定，甚至可能是无穷多个。参数模型可以求解出概率分布，因此具有全局普适性，而且只需要较小的计算代价就可从计算空间习得较好的模型，但其可用性严...

频率角度概率：随机事件发生频率的极限值。主张：执行参数估计时，参数是确定取值，而数据是随机的。损失函数：度量模型一次预测的好坏。常用的损失函数有：0-1损失函数、平方损失函数、绝对损失函数、对数损失函数。记作：风险函数（期望损失）：度量平均意义下模型预测的好坏。                              理解为模型关于联合分布的平均意义下的损失。学习...