百面机器学习——模型

1、准确率的局限性
答：准确率的定义是正确样本占总样本的比例。但是当样本分布不均衡的时候，占比大的类别往往成为影响准确率的主要因素。为了解决这个问题，使用有效的平均准确率（每个类别下的样本准确率的算术平均）作为评估指标
2、精确率和召回率的权衡
答：精确率是指分类正确的正样本个数占分类器判定为正样本的样本个数的比例，召回率是指分类正确的正样本的个数占真正的正样本的个数比例。F值是调和精确率和召回率的调和平均值，ROC曲线也可以反映其性能
3、平方根误差的意外
答：
4、什么是ROC曲线
答：中文名：受试者工作特征曲线，横坐标是假阳性率，FPR=FP/N,纵坐标是真阳性率，TPR=TP/P，P是真实的正样本的数量，N是负样本的数量，TP是P个正样本中被分类器预测为正样本的个数，FP是N个负样本被分类器预测为正样本的个数。
5、如何计算AUC
答，AUC是指ROC曲线下的面积大小，量化的反映出模型的性能。AUC的值只需要沿着ROC横轴做积分就可以了。
ROC曲线的特点，当正负样本的分布发生变化时，ROC曲线的形状基本不变，而P-R曲线形状发生剧烈的变化。
6、为什么使用余弦相似度而不用欧式距离
答：余弦相似度是两个向量夹角的余弦，当一对文本相似度长度差距很大，但是内容相近，如果用词频或词向量作为特征，它们在特征空间中的欧式距离通常会很大，而如果使用余弦相似度，他们的夹角会很小，而相似度高。余弦相似度在高维的特征下，依然是相同时为1，相反为-1，而欧式距离受维度影响，范围不固定，含义模糊。
7、余弦距离是否是一个严格定义的距离？
8、在对模型进行充分的离线评估之后，为什么要进行在线A/B测试：
1 离线评估无法完全消除模型过拟合的影响，因此，得出的离线评估结果无法完全替代线上评估结果

2 离线评估无法完全还原线上的工程环境。一般来讲，离线评估往往不会考虑线上环境的延迟，数据丢失，标签数据缺失等情况。

3 线上系统的某些商业指标在离线评估中无法计算。离线评估一般是针对模型本身进行评估，而与模型相关的其他指标，特别是商业指标，往往无法直接获得。比如，上线了新的推荐算法，离线评估往往关注的是ROC曲线，P-R曲线等的改进，而线上评估可以全面了解该推荐算法带来的用户点击率，留存时长，PV访问量的变化
9、如何进行线上的A/B测试
主要手段是进行用户分桶，将用户分成实验组和对照组，对实验组的用户施以新模型，对对照组的用户施以旧模型。在分桶的过程中，要注意样本的独立性和采样方式的无偏性。
10、在模型的评估中，有哪些主要的验证方法，他们的优缺点是什么？
HOLDout检验，将原始样本分为训练集和测试集，缺点，验证集和原始分组的影响很大，为了消除随机性，引入交叉验证，
k-fold交叉验证：首先将全部样本划分成k个大小相等的样本子集；依次遍历这k个子集，每次把当前子集作为验证集，其余所有子集作为训练集，进行模型的训练和评估；最后把k次评估指标的平均值作为最终的评估指标。在实际实验中，k经常取1 0
自助法：样本集很小的时候，采用自助采样法的检验方法，n次采样的过程中，有的样本被重复采样，有的没有被抽出过，没有抽出的作为验证集，进行模型验证，
11、超参数调优的方法
一般会采用网格搜索，随机搜索，贝叶斯优化等算法
超参数搜索算法一般包括哪几个要素：一是目标函数，即算法需要最大化/最小化的目标；二是搜索范围，一般通过上限和下限来确定；三是算法的其他参数，如搜索步长
网格搜索，通过搜索范围内所有点来确定最优值
随机搜索，不再有上界和下届，在搜索范围内随机选取样本点，
贝叶斯优化算法，通过对目标函数来学习，找到目标函数向全局最优值提升的参数。
12、过拟合与欠拟合
过拟合，训练集表现很好，测试集上表现不好，
欠拟合，训练集和测试集上表现都不好。
降低过拟合，增加数据集，模型简单化，加入正则化的方法，集成学习方法。
降低欠拟合，添加新特征，增加模型复杂度，减小正则化系数