机器学习与统计模型理论分析

1、考虑在二维空间(R^2)中的一个问题，其中各类别出现的概率相等，(p(x | Y = 0))在以((-3, 0))为圆心、半径为1的圆盘上服从均匀分布，(p(x | Y = 1))在以((3, 0))为圆心、半径为1的圆盘上服从均匀分布。由于类别条件密度不重叠，贝叶斯误差(epsilon^* = 0)。(a) 证明1 - 近邻分类规则的期望误差严格小于任何(k > 1)的(k) - 近邻分类规则的期望误差。这表明，尽管1 - 近邻分类规则在实践中性能通常较差，但它并不总是被(k)值更大的近邻规则所主导。提示：记住期望分类误差就是无条件概率(P(hat{Y}_n(X) eq Y))。(b) 证明对于固定的(k)，当(n)趋于无穷大时，(E[epsilon_n])的极限为0。(c) 证明对于固定的(n)，当(k)趋于无穷大时，(E[epsilon_n])的极限为(1/2)。这表明当(k)远大于(n)时会出现过拟合。(d) 证明如果允许(k_n)变化，且对于所有的(n)都有(k_n < n)，那么当(n)趋于无穷大时，(E[epsilon_n])的极限为0。

(a) 因为类别条件密度不重叠，1 - 近邻分类规则能准确分类，期望误差小；而(k>1)时可能引入不同类别的近邻导致分类错误概率增加，所以1 - 近邻期望误差严格小于(k>1)的(k) - 近邻规则。

(b) 当样本量(n)趋于无穷时，对于固定的(k)，分类规则能准确分类，期望误差趋于0。

(c) 当(k)远大于(n)时，分类规则随机猜测的可能性增大，期望误差趋于(1/2)。

(d) 若(k_n < n)且(n)趋于无穷，分类规则能利用足够信息准确分类，期望误差趋于0。

2、证明：无论后续层使用何种非线性函数，具有k个阈值Sigmoid函数的神经网络在第一个隐藏层产生的决策区域等于k个半空间的交集，即决策边界是分段线性的。提示：第一个隐藏层中的所有神经元都是感知机，该层的输出是一个二进制向量。

每个阈值Sigmoid函数（感知机）会将特征空间划分为两个半空间，输出为二进制值。
$k$个这样的感知机的输出组合起来，决策区域就由这些半空间的交集