小样本综述2020：《Generalizing from a Few Examples: A Survey on Few-Shot Learning》

1-2. 介绍，论述

(1) 存在问题

  问题：小样本学习（Few-Shot Learning ，FSL），经验风险最小化是不可靠的。

【补充：

• 期望风险（真实的样本的全部分布已知）

• 经验风险（真实的样本的分布未知，只能抽样，用经验代替真实，大数定律说明抽样越多，越接近真实）

• 结构风险（经验风险最小化容易导致过拟合，结构风险=经验风险+参数正则化项）

J（θ）一般取L₁或L₂范数，θ为所有参数（自由度），λ>0是正则项的强度。】

  小样本学习的经验风险最小化是不可靠的，具体的来讲：

• $\hat{h}$表示真实函数（未知）。
• h^*是对于真实样本分布（期望风险）的最优函数近似。
• h_I是对于经验风险的最优函数近似。

  样本少，会使期望风险（h^*）和经验风险（h_I）下的函数相差较多。