机器学习与计算机视觉入门项目——视频投篮检测（三）

在第二部分，我记录了实验中提取图像特征的HOG算子及其实现代码，我们接下来就要构造几个简单的分类器，对数据集的HOG特征来分类，实现进球/不进球的分类任务。

分类器的设计和选择

实验中要用到的分类模型主要有四个：

• logistic回归
• SVM支持向量机
• MLP多层感知机
• CNN卷积神经网络

构建分类器的过程中总有许多因素会对最终性能产生影响，比如数据的增广方式、模型的超参数、是否引入某个修正项等等。不同因素的组合会产生非常多的可选方案，因此我们采用交叉验证和绘制ROC曲线的形式来确定模型的最优超参数，并比较不同参数及不同模型的优劣。交叉验证和ROC曲线在随后都会讲到。

几种损失函数

函数名称	形式
均方误差损失	$$MSE=-\frac{1}{n}\sum _{i=1}^n({\hat{y}}_i-y_i{)}^2$$ $y_i$是数据的真实标签，${\hat{y}}_i$是模型的输出结果
平均交叉熵损失	− 1 m [ ∑ i = 1 m ∑ j = 0 1   1 { y ( i ) = j }   l o g   p ( y ( i ) = j ∣ x ( i ) ; θ ) ] -\frac{1}{m}[\sum_{i=1}^{m}\sum_{j=0}^{1}\ 1\{ y^{(i)}=j\}\ log \ p(y^{(i)}=j\mid x^{(i)};\theta)] −m1​[i=1∑m​j=0∑1​ 1{ y(i)=j} log p(y(i)=j∣x(i);θ)] 1 { ⋅ } 1\{ \cdot \} 1{ ⋅}是指示函数，当$y^{(i)}=j$时函数值为1否则为0
$0-1$损失	$$L_{0,1}=\sum _{i=0}^m{I}_{f(x^{(i)})̸=y^{(i)}}$$ $I_x$也是指示函数，0-1损失相当于记录了模型分类出错的次数
负对数似然损失	$$NLL(\theta ,D)=-\sum _{i=0}^{\mid D\mid }logP(Y=y^{(i)}\mid x^{(i)},\theta )$$
$L1$正则化	$$E(\theta ,D)=NLL(\theta ,D)+\lambda \mid \mid \theta \mid {\mid }_1$$ $$\mid \mid \theta \mid {\mid }_p=(\underset{j=0}{}$$