周志华机器学习---详解训练集外误差-学习笔记

一。含义：

• 学习算法在训练集之外的所有样本上的误差。

二。算法如下:

三。公式详解：

• 用La替代式中的学习算法
• Eote(La|X,f): 算法La学得的假设在训练集外的所有样本上的误差的期望。
• Ⅱ(h(x)≠f(x))：指示函数，括号里为真就=1,为假就=0
• ∑h: 对假设的求和。同一算法对于训练集外（测试集）的不同数据产生的不同的假设，每个假设有不同的概率。
• ∑x∈χ−X：对于样本空间中每一个训练集外的数据都进行右边的
• P(x) 即训练数据集中，x出现的概率。
• P(h|X, La)即， 表示学习算法为La， 训练数据集为X下， 假设h出现的改了。假设可以理解成一个函数或模型，一个样本到结果(好瓜，坏瓜的映射)。
• f(x)表示真实期望的目标函数。

四。对式子的理解：

• Ⅱ(h(x)≠f(x))：表示括号里为真就=1,为假就=0。
• 所以，若绿框里h(x)≠f(x)，所在括的运算为1，绿色框的取值为P(x)*P(h|x, La)。否则，绿色框的值为0。
• 红框：表示对x属于样本空间且不属于训练集的时，对于每一个x，对绿框的值求和。
• 黑框：表示对于h的每一个取值，对红框的值进行求和。