人工智能实践：Tensorflow2.0笔记 北京大学MOOC（2-2）

---

说明

本文内容整理自中国大学MOOC “北京大学-人工智能实践:Tensorflow笔记” 课程，部分内容可能在原笔记内容上进行了修改，转载请注明出处。
授课老师：曹健
中国大学MOOC 人工智能实践:Tensorflow笔记课程链接
本讲目标：学会神经网络优化过程，使用正则化减少过拟合，使用优化器更新网络参数
本节内容：本节将讨论神经网络优化过程中 “过拟合与欠拟合” 的概念，并简述通过正则化缓解过拟合的方法。

---

二、缓解“欠拟合”与“过拟合”问题

1. 欠拟合与过拟合

机器学习 过程中模型利用训练集中进行学习，在测试集中对样本进行预测。
模型对训练集数据的误差称为 经验误差，对测试集数据的误差称为 泛化误差。
模型对训练集以外样本的预测能力称为模型的泛化能力。

欠拟合(underfitting) 和 过拟合(overfitting) 是模型泛化能力不高的两种常见原因，都是模型学习能力与数据复杂度不匹配的情况。

欠拟合常常在模型学习能力比较弱，而数据复杂度较高的场景出现，由于模型学习能力不足，不能有效学习数据集的一般规律，导致模型泛化能力较弱。

过拟合常常在模型学习能力过强的场景中出现，由于模型学习能力太强，把训练集中单个样本的特点都能学习到，并将其作为一般规律，同样也导致模型泛化能力较弱。

以下图组形象地表现了欠拟合、正确拟合、过拟合三种情况：

图1 机器学习中的欠拟合、正确拟合、过拟合情况示意图

欠拟合在训练集和测试集上能力都较差，而过拟合则在训练集能较好学习数据的特征，在测试集上预测能力较差。

2. 缓解“欠拟合与过拟合”的思路

欠拟合的解决方法：
· 增加输入特征项：给网络更多维度的输入特征；
· 增加网络参数：扩展网络规模，增加网络深度，提升模型表达力；
· 减少正则化参数

过拟合的解决方法：
· 数据清洗：减少数据集中的噪声，使数据集更纯净；
· 增大训练集：让模型见到更多的数据；
· 采用正则化
· 增大正则化参数

3. 使用正则化缓解过拟合问题

3.1 相关概念

正则化是一种通用、有效地缓解过拟合问题的方法。

正则化在损失函数中引入模型复杂度指标，利用给W加权值 ，弱化了训练数据的噪声（一般不正则化b）。

采用正则化方法后损失函数的形式为：$$loss=loss(\text{y与y\_})+\mathrm{REGULARIZER}\times loss(w)$$式中：
$loss(\text{y与y\_})$ 指模型中所有参数的损失函数，如：交叉熵、均方误差等；
$\mathrm{REGULARIZER}$ 用超参数REGULARIZER给出参数$w$在总$loss$中的比例，即正则化的权重；
$loss(w)$ 指需要正则化的参数。

3.2 常用的正则化方法 及 代码实现

3.2.1 L1正则化

定义：$$los{s}_{L1}(w)=\sum _i|w_i|$$L1正则化的特点：

L1正则化大概率会使很多参数变为零，因此该方法可通过稀疏参数，即减少参数的数量，降低复杂度。

代码实现：

由于在tensorflow新版本中不存在已经实现好的L1正则化函数，故自行实现如下：

loss_regularization = tf.reduce_sum(tf.abs(w1))

举例如下：

# L1正则化
#输入：
	import tensorflow as tf
	tf.random.set_seed(100) #seed: 随机数种子
	REGULARIZER = 0.03	#正则化权重
	loss_regularization_l1 = []
	w1 = tf.Variable(tf.random.normal([2, 1]), dtype=tf.float32)
	print("w1=\n",w1)
	loss_regularization_l1.append(tf.reduce_sum(tf.abs(w1)))
	# 求和
	loss_regularization_l1 = tf.reduce_sum(loss_regularization_l1)
	print("loss_regularization_l1=\n",loss_regularization_l1)
输出：
	w1=
	 <tf.Variable 'Variable:0' shape=(2, 1) dtype=float32, numpy= array([[ 0.16052227],[-1.6597689 ]], dtype=float32)>
	loss_regularization_l1=
	 tf.Tensor(1.8202912, shape=(), dtype=float32)

3.2.2 L2正则化

定义