ljl2107的博客

如果贝叶斯决策边界是线性的，我们期望 QDA 在训练集上表现得更好，因为它更高的灵活性将产生更接近的匹配。在测试集上，我们预期 LDA 的表现会优于 QDA，因为 QDA 可能会超出贝叶斯决策边界的线性度。我们期望 QDA 相对于 LDA 的测试预测精度能够随着样本容量n的增加而提高，因为更灵活的方法将产生更好的拟合，更多的样本可以拟合和方差抵消了更大的样本量。1最近邻算法平均错误率18%，但是由于其训练误差为0%，所以其测试误差为36%，大于逻辑斯蒂回归，因此最终选择逻辑斯蒂回归进行新的预测。

决策方式不同：在预测阶段，KNN做分类时，通常采用多数表决法，即根据训练集中与预测样本特征最近的K个样本，将预测为包含最多类别数的类别。而KNN做回归时，则通常采用平均法，即取最近的K个样本的输出平均值作为回归预测值。预测变量和响应变量之间有关系，通过观察p值和t值等数据可以判别是否拒绝原假设，从而判别是否有关系，可以明显的看出有关联。KNN分类和KNN回归都是KNN算法在不同类型数据上的应用，但它们之间存在明显的区别。P值0.936，很大可以拒绝零假设，说明商店的位置和销量之间没有关系。

因为三次回归更加灵活，无论潜在的真正关系是什么，更灵活的模型将更紧密的拟合各个点。测试RSS难以判断，题目中没有给足够的信息，不知道实际情况，到底是偏线性还是远离线性，不同情况会影响结果。关于“电视广告”的零假设是，在有电台广告和报纸广告的情况下，电视广告对销售没有影响。“电台广告”的零假设是，在有电视和报纸广告的前提下，电台广告对销售没有影响。“报纸广告”的零假设是，在有电视和电台广告的前提下，报纸广告对销售没有影响。电视和电台的p值小于0.0001，带表我们拒绝假设，即原假设是错误的。

会报错“Error in pairs.default(Auto) : 非数值参数不能适用于'pairs”，使用str（Auto）查看数据类型，大概率会发现字符（非数字）类型的数据列，pairs是不能处理非数字的。参数回归或者分类模型的优点是将模型简化，不需要太多的观测数据，但是如果假设出错会使模型的效果下降，也有“过拟合”的风险。光滑度低的好，因为可能“过拟合”，一些误差大的数可能会较大的影响到预测变量数。需要更好的准确度，光滑度高通常意味着更好的拟合数据，预测的准确性和可信度更好。

作业