1.1 Polynomial Curve Fitting

主线：多项式逼近拟合(polynomial fitting)->poor generalization (overfitting)->regularization

1. 多项式逼近(polynomial fitting)
   假设有N个样本X=(x1, x2,…,xM) ,其所对应的观察值为 t=(t1,t2,…,tM).
   通过训练，寻找一个M阶的多项式 使得目标函数（1）最小。
   (1)
2. Poor generalization
   随着W增大（模型的复杂度提高，该模型的拟合能力增加），训练样本所对应的 E(w)会减小，产生的后果是：最小化目标函数(1)使得该模型的泛化能力减弱。即该模型在训练数据和测试数据的表现是相差很大(overfitting)。
   图1

3. Regularization
   解决overfitting的一个途径是regularization。其思想是将模型的复杂度W作为一个约束条件加入目标函数(1)中，modified目标函数如(2)所示。
   (2)
   对目标函数(2)的影响是：在w固定 的情况下， lambda越大，模型复杂度越小，（ lambda，M都是控制模型复杂度的参数）。如图2所示

   图2

   若采用目标函数(2),通常的解决方法是将样本分为两组：Train set用来选择合适的w ;Validation set用来选择合适的 lambda或者M，控制模型的复杂度。

问题：下面的两种方法有什么区别？
方法一：采用目标函数(1),采用两组数据, Train set用来选择合适的w;Validation set用来选择合适的M。
方法二：采用目标函数(2), 用两组数据, Train set用来选择合适的w ;Validation set用来选择合适的lambda 。*