分类（classification）

损失函数

在分类中，使用一个 $C\times C$ 的损失矩阵 $L$来表达损失函数，其中，$C$ 指类别数。损失矩阵中的每个元素 $L_{kl}=L(k,l)$ 指将实际类别属于 $k$，但是将其分类到 $l$ 的损失。常用的损失函数为 $0-1$ 损失函，其中 $L_{kl}=\{\begin{array}{rlr}1,& & k\ne l\\ 0,& & k=l\end{array}$

其中，一个单位损失发生在错误分类的情况下，即 $L(Y,G(X))=I(Y\ne G(X))=\{\begin{array}{rlr}1,& & Y\ne G(X)\\ 0,& & Y=G(X)\end{array}$

而分类器 $G$ 的预测损失/错误率是 E r r ( G ) = E [ L ( Y , G ( X ) ) ] = A v e r a g e { L ( y ( i ) , G ( x ( i ) ) ) ， ∀ ( y ( i ) , x ( i ) ) } Err(G)=\mathrm E[L(Y,G(X))]=Average\{L(y^{(i)},G(\mathbf x^{(i)}))，\forall (y^{(i)},\mathbf x^{(i)})\} Err(G)=E[L(Y,G(X))]=Average{L(y(i),G(x(i)))，∀(y(i),x(i))}。最终目标是找到一个使得预测错误率最小的分类器。

贝叶斯分类器（Bayes classifier）

当给定 $X=\mathbf{x}$ 时，$Y=c$ 的条件概率为 $p_c(\mathbf{x})=P(Y=c|X=\mathbf{x})$，其中 $c=1,\cdots ,C$。

将样本 $\mathbf{x}$ 分类到 $c$ 的条件是：$p_c(\mathbf{x})\ge p_j(\mathbf{x}),\forall j=1,\cdots ,C$。

贝叶斯分类器是 0-1损失下的最优分类器，相较于其他分类器有着最小的分类误差。

决策边界

考虑类别 $k$ 和 $j$，集合 { x : p k ( x ) = p j ( x ) } \{\mathbf x:p_k(\mathbf x)=p_j(\mathbf x)\} {x:pk​(x)=pj​(x)} 则为类别 $k$ 和 $j$ 之间的 决策边界(decision boundary)。

给定训练集 { ( y ( i ) , x ( i ) ) , i = 1 , ⋯   , n } \{(y^{(i)},\mathbf x^{(i)}),i=1,\cdots,n\} {(y(i),x(i)),i=1,⋯,n}，分类器 $G$ 的 经验误差(empirical error) 为 $\overline{err}(G)=\frac{1}{n}\sum _{i}I(y^{(i)}\ne G({\mathbf{x}}^{(i)}))$

逻辑回归（Logistic Regression）

在解决分类问题时，可以忽略 $y^{(i)}$ 是离散值的事实，然后采用线性回归算法来预测当给定 $\mathbf{x}$ 时 y 的值。但是，这样直接构造的方法效果很差。因此，对 0-1分类来说，需要将预测值 $h_{\theta }(x)$ 限制到 $[0,1]$ 之间，使得预测值有意义。

目标函数及sigmoid函数

$h_{\theta }(z)=\frac{1}{1+e^{-z}}=\frac{e^z}{1+e^z}$

模型参数学习

将预测值 $h_{\theta }(x)$ 限制到 $[0,1]$ 之间，因此，以概率视角来看问题，使用 MLE（极大似然估计，maximum likelihood estimator） 来求解。

${\theta }_j:={\theta }_j+\alpha \cdot \sum _{i=1}^n(y^{(i)}-h_{\theta }(x^{(i)}))\cdot x_j^{(i)}$