吴恩达教授的机器学习课程的第六周相关内容：
1、决定下一步做什么
当我们运用训练好了的模型来预测未知数据的时候发现有较大的误差，我们下一步可以
做什么？
- 获得更多的训练实例——通常是有效的， 但代价较大， 下面的方法也可能有效， 可
考虑先采用下面的几种方法。 - 尝试减少特征的数量
- 尝试获得更多的特征
- 尝试增加多项式特征
- 尝试减少正则化程度 λ
- 尝试增加正则化程度 λ
我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些机器学习诊断法我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些机器学习诊断法
来帮助我们知道上面哪些方法对我们的算法是有效的。
小结：有较大误差时应该采取的措施。
2、评估一个假设
你该如何判断一个假设函数是过拟合的呢？对于这个简单的例子，我们可以对假
设函数 h(x) 进行画图，然后观察图形趋势，但对于特征变量不止一个的这种一般情况，还
有像有很多特征变量的问题，想要通过画出假设函数来进行观察，就会变得很难甚至是不可
能实现。
因此，我们需要另一种方法来评估我们的假设函数过拟合检验。
为了检验算法是否过拟合，我们将数据分成训练集和测试集，通常用 70%的数据作为训
练集，用剩下 30%的数据作为测试集。很重要的一点是训练集和测试集均要含有各种类型的
数据， 通常我们要对数据进行“洗牌”， 然后再分成训练集和测试集。
测试集评估在通过训练集让我们的模型学习得出其参数后，对测试集运用该模型，我们
有两种方式计算误差：
- 对于线性回归模型，我们利用测试集数据计算代价函数 J
- 对于逻辑回归模型，我们除了可以利用测试数据集来计算代价函数外：
小结：把数据集分为训练集和测试集分别计算误差。
3、模型选择和交叉验证集
越高次数的多项式模型越能够适应我们的训练数据集，但是适应训练数据集并不代表着能推广至一般情况，我们应该选择一个更能适应一般情况的模型。我们需要使用交叉验证集来帮助选择模型。
即：使用 60%的数据作为训练集， 使用 20%的数据作为交叉验证集， 使用 20%的数据作为测试集
模型选择的方法为：
- 使用训练集训练出 10 个模型
- 用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
- 选取代价函数值最小的模型
- 用步骤 3 中选出的模型对测试集计算得出推广误差（代价函数的值）
小结：为了防止对训练集的‘偏爱’，把数据集分为训练集、测试集、交叉验证集，先在交叉训练集上进行相关测试，再进一步的选择。
4、诊断偏差和方差
当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。换句话说，出现的情况要么是欠拟合，要么是过拟合问题。那么这两种情况，哪个和偏差有关，哪个和方差有关，或者是不是和两个都有关？搞清楚这一点非常重要，因为能判断出现的情况是这两种情况中的哪一种。
我们通常会通过将训练集和交叉验证集的代价函数误差与多项式的次数绘制在同一张图表上来帮助分析：
对于训练集，当 d 较小时，模型拟合程度更低，误差较大；随着 d 的增长，拟合程度提高，误差减小。
对于交叉验证集，当 d 较小时，模型拟合程度低，误差较大；但是随着 d 的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。
如果我们的交叉验证集误差较大，我们如何判断是方差还是偏差呢？ 根据上面的图表，我们知道:
小结：误差较大时偏差和方差的判断方法。
5、正则化和偏差/方差
在我们在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能
会正则化的程度太高或太小了， 即我们在选择 λ 的值时也需要思考与刚才选择多项式模型次
数类似的问题。
选择 λ 的方法为：
- 使用训练集训练出 12 个不同程度正则化的模型
- 用 12 模型分别对交叉验证集计算的出交叉验证误差
- 选择得出交叉验证误差最小的模型
- 运用步骤 3 中选出模型对测试集计算得出推广误差， 我们也可以同时将训练集和交叉验证集模型的代价函数误差与 λ 的值绘制在一张图表上：
当 λ 较小时， 训练集误差较小（过拟合） 而交叉验证集误差较大
随着 λ 的增加， 训练集误差不断增加（欠拟合）， 而交叉验证集误差则是先减小后
增加。
小结：正则化的lambda对误差的影响。
6、学习曲线
学习曲线是学习算法的一个很好的合理检验（sanity check）。学习曲线是将训练集误差和交叉验证集误差作为训练集实例数量（m）的函数绘制的图表。
即，如果我们有 100 行数据，我们从 1 行数据开始，逐渐学习更多行的数据。思想是：
当训练较少行数据的时候，训练的模型将能够非常完美地适应较少的训练数据，但是训练出
来的模型却不能很好地适应交叉验证集数据或测试集数据。
如何利用学习曲线识别高偏差/欠拟合： 作为例子，我们尝试用一条直线来适应下面的
数据，可以看出，无论训练集有多么大误差都不会有太大改观
也就是说在高偏差/欠拟合的情况下，增加数据到训练集不一定能有帮助。
如何利用学习曲线识别高方差/过拟合： 假设我们使用一个非常高次的多项式模型，并
且正则化非常小，可以看出，当交叉验证集误差远大于训练集误差时，往训练集增加更多数
据可以提高模型的效果。
也就是说在高方差/过拟合的情况下，增加更多数据到训练集可能可以提高算法效果。
小结：高偏差/欠拟合加数据无用，高方差/过拟合有用。
7、决定下一步做什么
让我们再次回到最开始的例子，在那里寻找答案，这就是我们之前的例子。 回顾 1.1 中
提出的六种可选的下一步，让我们来看一看我们在什么情况下应该怎样选择：
- 获得更多的训练实例——解决高方差
- 尝试减少特征的数量——解决高方差
- 尝试获得更多的特征——解决高偏差
- 尝试增加多项式特征——解决高偏差
- 尝试减少正则化程度 λ——解决高偏差
- 尝试增加正则化程度 λ——解决高方差
神经网络的方差和偏差：
使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代价
较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算代
价比较大，但是可以通过正则化手段来调整而更加适应数据。
通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。
小结：判断偏差还是方差的问题，来进一步解决误差。
8、机器学习系统的设计
8.1、首先要做什么
谈及在设计复杂的机器学习系统时，你将遇到的主要问题。同时我们会试着给出一些关于如何巧妙构建一个复杂的机器学习系统的建议。
本周以一个垃圾邮件分类器算法为例进行讨论。
为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量 x。我们可以
选择一个由 100 个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中
出现，来获得我们的特征向量（出现为 1，不出现为 0），尺寸为 100×1。
为了构建这个分类器算法，我们可以做很多事，例如：
- 收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本
- 基于邮件的路由信息开发一系列复杂的特征
- 基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理
- 为探测刻意的拼写错误（把 watch 写成 w4tch）开发复杂的算法
在上面这些选项中，非常难决定应该在哪一项上花费时间和精力，作出明智的选择。我们将在随后的课程中讲误差分析，我会告诉你怎样用一个更加系统性的方法，从一堆不同的方法中，选取合适的那一个。因此，你更有可能选择一个真正的好方法，能让你花上
几天几周，甚至是几个月去进行深入的研究。
小结：方法的选择。
8.2、误差分析
构建一个学习算法的推荐方法为：
- 从一个简单的能快速实现的算法开始，实现该算法并用交叉验证集数据测试这个算
法 - 绘制学习曲线，决定是增加更多数据，或者添加更多特征，还是其他选择
- 进行误差分析：人工检查交叉验证集中我们算法中产生预测误差的实例，看看这些实例是否有某种系统化的趋势。
误差分析并不总能帮助我们判断应该采取怎样的行动。有时我们需要尝试不同的模型，
然后进行比较，在模型比较时，用数值来判断哪一个模型更好更有效，通常我们是看交叉验
证集的误差。
小结：构建学习算法的推荐方法。
8.3、类偏斜的误差度量
查准率（Precision）和查全率（Recall） 我们将算法预测的结果分成四种情况：
- 正确肯定（True Positive,TP）：预测为真，实际为真
- 正确否定（True Negative,TN）：预测为假，实际为假
- 错误肯定（False Positive,FP）：预测为真，实际为假
- 错误否定（False Negative,FN）：预测为假，实际为真
则：查准率=TP/（TP+FP） 。 例，在所有我们预测有恶性肿瘤的病人中，实际上有恶性肿
瘤的病人的百分比，越高越好。
查全率=TP/（TP+FN） 。 例，在所有实际上有恶性肿瘤的病人中，成功预测有恶性肿瘤
的病人的百分比，越高越好。
小结：误差度量的方法。
8.4、查准率和查全率之间的权衡
我们可以将不同阀值情况下，查全率与查准率的关系绘制成图表，曲线的形状根据数据
的不同而不同：
我们希望有一个帮助我们选择这个阀值的方法。一种方法是计算 F1 值（F1 Score），其
计算公式为：
我们选择使得 F1值最高的阀值。
小结：由于查全率和查准率之间的互斥我们使用可以使二者相对平衡的F1来衡量相关性能。
8.5、机器学习的数据
两个条件：1、特征值有足够的信息量， 且我们有一类很好的函数， 这
是为什么能保证低误差的关键所在。
2、首先，一个人类专家看到了特征值 x，能很有信心的预测出 y 值吗？
因为这可以证明 y 可以根据特征值 x 被准确地预测出来。（数据的有效性）
小结：关于大量数据对模型的影响的两个先决条件。
9、第六周编程题
1、linearRegCostFunction.m
J=1/2/m*(sum((Xtheta-y).^2)) + lambda/2/msum((theta(2:end)).^2);
grad=1/m*(X’(Xtheta-y));
grad(2:end)=grad(2:end)+lambda/m*theta(2:end);简简单单的操作
2、learningCurve.m
for i=1:m
theta = trainLinearReg(X(1:i, : ), y(1:i), lambda);
error_val(i)=linearRegCostFunction(Xval, yval, theta, 0);
error_train(i)=linearRegCostFunction(X(1:i,:), y(1:i,:), theta,0);
end
计算数据集的theta和相应的error_train和error_val
3、polyFeatures.m
for i=1:p
X_poly(:,i)=(X).^i;
end
把X变成多项式
4、validationCurve.m
for i = 1:length(lambda_vec)
theta = trainLinearReg(X, y, lambda_vec(i));
error_val(i)=linearRegCostFunction(Xval, yval, theta, 0);
error_train(i)=linearRegCostFunction(X, y, theta,0);
end
和2差不多，对于不同的lambda来分别计算相关误差。
扫一扫
1346
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
