西瓜书习题 - 2.模型评估与选择

1.泛化能力

1、下面哪一项可以作为模型好的标准？

1. 错误率低
2. 精度高
3. 召回率高
4. 以上指标都可以，但视具体任务和使用者需求而异

2、我们希望模型在未见样本上表现好，这一能力通常被称作模型的什么能力？

1. 泛化能力
2. 建模能力
3. 学习能力
4. 拟合能力

3、在评价模型性能时，我们更希望它____（泛化能力强/训练误差为0）

泛化能力强

2.过拟合和欠拟合

1、模型在“未来”样本上的误差被称作

1. 泛化误差
2. 经验误差
3. 学习误差
4. 训练误差

2、有的情况下，模型学习到了训练数据满足的特有性质，但这些性质不是一般规律，这种现象被称之为

1. 欠拟合
2. 过拟合
3. 欠配
4. 以上三个选项都不是

3、在训练模型时，只需要保证模型的训练误差最小即可。____（是/否）

否

3.三大问题

1、模型选择有哪些关键问题？

1. 评估方法
2. 性能度量
3. 比较检验
4. 以上三个选项都是关键问题

2、为了说明模型在统计意义上表现好，我们最需要考虑

1. 评估方法
2. 性能度量
3. 比较检验
4. 以上三个选项都不需要考虑

比较检验主要是用于判断模型是否在统计意义上表现良好；其余A选项的评估方法，主要用于衡量模型在未来的表现好坏；B选项性能度量是针对具体问题给定的度量标准，对不同问题不太一样（如欺诈问题，10次欺诈99990次非欺诈，如果全分类为非欺诈，虽然精度很大，但是对该问题没有意义）。

3、在没有“未来数据”的情况下，我们____（能/不能）通过训练集对泛化误差进行估计。

能

在没有“未来数据”的情况下，我们可以划分训练数据（以留出法为例），使用验证集上的经验误差作为对泛化误差的估计。

4.评估方法

1、下列什么方法可以用来获得从原始数据集中划分出“测试集”？

1. 留出法
2. 交叉验证法
3. 自助法
4. 以上三个选项都可以

2、下面哪一项不是留出法的注意事项？

1. 需要保持训练集和测试集数据分布的一致性
2. 只需要进行一次划分
3. 测试集不能太大，不能太小
4. 以上选项都是

A和C均为注意事项，错误主要出现在D选项。针对B选项，西瓜书第25页有提到，“在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作 为留出法的评估结果。”可以得到B选项不是留出法的注意事项。

3、训练集与测试集____（应该互斥/可以不互斥）

应该互斥

测试集如果与训练集不互斥，则因为部分测试数据在训练集中见过，测试误差的估计会受到干扰，变得不精确。

5.调参与验证集

1、调参以什么集合上的性能作为评价标准？

1. 训练集
2. 测试集
3. 验证集
4. 以上选项都可以

2、当我们使用一个多项式函数去逼近数据集时，下面哪一个说法是正确的？

1. 多项式的次数是超参数
2. 多项式的系数是超参数
3. 多项式的次数必须通过数据去学习
4. 以上说法都是正确的

在使用多项式逼近数据集时，会人工赋予多项式次数（x的多少次方），然后通过训练数据学习多项式的系数（y=wx+b的w和b）；因此多项式的次数是超参数，而多项式的系数不是超参数。超参数虽然可以通过学习得到，但一般由人工决定，C选项太过绝对。

3、超参数一般由____（人工/学习）确定

人工

6.性能度量

1、“好”模型取决于下列哪些因素？

1. 算法
2. 数据
3. 任务需求
4. 以上选项都是

2、收购西瓜的公司希望把瓜摊的好瓜都尽量收走，请问他的评价标准是？

1. 错误率
2. 精度
3. 查准率
4. 查全率

3、回归任务的性能度量之一均方误差 $E(f,D)=\genfrac{}{}{0ex}{}{}{m}$