SimpleIsBetter

1 梯度下降法梯度下降法（gradient descent：GD）梯度：f(θ)f(\theta)在θ0\theta_{0}处的梯度表示f(θ)f(\theta)在点θ0\theta_{0}处函数值变化最快的方向。 对于凸函数f(θ)f(\theta)来说，沿着负梯度方向寻找可以找到函数的极小值 θk+1=θk−ηf′(θk)\theta^{k+1}=\theta^{k}-\eta f'(\th

提升方法，是将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。 Kearns和Valiant提出了“强可学习”和“弱可学习”的概念 强可学习：在概率近似正确学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它，并且正确率很高，这个概念被称为强可学习 弱可学习：一个概念，如果一个多项式学习算法能够学习它，学习的正确率仅比随机猜测略好 Schap