(斯坦福机器学习笔记)之经验风险最小化

经验风险最小化这节课的内容全是算法，最终推导出了一个可供我们定性分析模型复杂度和所需最少训练样本数的关系的结论。
首先定义$\hat{\epsilon}(h)$定义为m个样本的平均误差,又叫训练误差，即$\hat{\epsilon}(h_{\theta})=\frac{1}{m}\sum\limits_{i=1}^{k}I\{h_{\theta}(x^i)\neq y^i\}$
定义${\epsilon}(h)$为某一个模型分类误差，又叫泛化误差，即${\epsilon}(h)=P_{x,y - D}(h(x)\neq y)$
定义$\hat h$为训练误差最小的模型
定义$\hat \theta$为训练误差最小的模型的参数

==============================hoeffding不等式======================
hoeffding不等式: 令$Z_1,Z_2,...,Z_m$为 m 个独立同分布的服从伯努利分布的变量,且$P(Z _i = 1) = \phi, P(Z_ i = 0) = 1 − \phi$则有

$$P(|\hat \phi-\phi|>\gamma)< 2exp(-2\gamma^2m)$$
此不等式有一个直观的理解：如果把 $\hat\phi$的分布曲线画在二维坐标系中，会得到一个钟形曲线，类似于高斯分布的曲线，其中期望值是 $\phi$，而 ϕ