Ho-Kashyap Algorithm 原理笔记

Ho-Kashyap 算法

任务：给定样本 { x 1 , x 2 , . . . , x n } , x i = [ x i 1 , x i 2 , ⋯   , x i d ] T \{x_1,x_2,...,x_n\},x_i=[x_{i1},x_{i_2},\cdots,x_{id}]^T {x1​,x2​,...,xn​},xi​=[xi1​,xi2​​,⋯,xid​]T，设每个样本属于两类中的某一类 { 1 , − 1 } \{1,-1\} {1,−1}，用线性模型对样本进行划分。
方法：
将每个$x_i$转化成$y_i$，如果$x_i$属于{1}类，$y_i=[1,x_{i1},x_{i_2},\cdots ,x_{id}{]}^T$，如果属于{-1}类，则$y_i=[-1,-x_{i1},-x_{i_2},\cdots ,-x_{id}{]}^T$。
如果使用感知器方法，即寻找一个权向量$a$，使得对于所有i都有$a^T{y}_i=b_i>0$，那么可以使用感知器准则函数县官的优化方法，如批处理感知器算法等：

但是使用感知器的方法对于线性不可分的样本将会十分棘手，可能会导致算法无法收敛。

---

---

对于线性不可分的问题常常采用最小化均方误差的方法进行优化，例如需要最小化：
$$J_s=\Vert Ya-b{\Vert }^2，Y=[y_1,y_2,\cdots ,y_n{]}^T,b>0为超参（裕度）$$$${▽}_a{J}_s=2Y^T(Ya-b)$$采用这种梯度迭代更新a的方法例如：

但是最小化均方误差的算法对于本来就是线性可分的问题表现的并不优秀例如：

找到MSE最小的解却不是一个可分的解。

---

---

Ho-Kashyap Algorithm在采用最小均方误差的前提下又保证对于所有线性可分的问题，必然找到可分的解。

定义：
$$J_s=\Vert Ya-b{\Vert }^2，Y=[y_1,y_2,\cdots ,y_n{]}^T$$$${▽}_a{J}_s=2Y^T(Ya-b)=2Y^{T}e$$$${▽}_b{J}_s=-2(Ya-b)=-2e$$其中e定义为误差向量。

HoK算法对b进行迭代优化，而直接让${▽}_a{J}_s=0\iff Y^{T}e=0\iff a=(Y^{T}Y{)}^{-1}{Y}^{T}b=Y^{†}b$（使用了伪逆）。

由于我们希望最终的解能线性可分，即$Y\hat{a}=\hat{b}>0$，所以我们希望迭代b的过程中，b不能小于0，这个通过初始化b并且在迭代过程中不允许b减小（仅保留对b的负梯度中正的部分）
$$b(k+1)=b(k)+\eta (k){▽}_b{J}_s^{+}=b(k)+2\eta (k)e^{+},e^{+}=\frac{1}{2}(e+|e|)$$
同时为了避免死循环设置了$k_{max}$最大迭代次数

重点标记算法停止条件$abs(e)\le b_{min}$ ，$b_{min}=min(b(0))$即初始b中最小的元素，某个正数。

证明当$\eta \in (0,1)$时，对于线性可分问题，HoK必然收敛到一个可分的解。

如果在迭代过程的第k步出现了$Ya(k)=b(k)$，即$e(k)=0$那么，此时算法已经终止，且由于b(k)>0，所以自然也找到了一个线性可分的解。

要担心的是如果出现了某种情况使得$e(k)$中所有元素都小于等于0，且e(k)不为0向量。此时$e^{+}(k)=0$，算法将不会迭代更新，我们也无法判定是否找到了一个线性可分的解，或者线性可分的解是否存在。

幸运的是这种情况不会出现，因为令
$${▽}_{a(k)}{J}_s=2Y^T(Ya(k)-b(k))=2Y^{T}e(k)=0\iff Y^{T}e(k)=0\iff e^T(k)Y=0$$
假设问题是线性可分的，那么就存在$\hat{b}>0,\hat{a}$，满足$Y\hat{a}=\hat{b}$。
进而$$e^t(k)Y\hat{a}=0=e^t(k)\hat{b}$$
由于$\hat{b}>0$所以e(k)必然为0向量，或者e(k)中有正有负。对于0向量我们可以说已经找到了一个线性可分的解。对于后者则可以继续优化，但是如果问题是线性可分的就绝对不会出现$e(k)$中所有元素都小于等于0且e(k)不为0向量的情况。

说明$Y{Y}^{†}$是对称的，半正定的，满足：

有$$e(k)=Ya(k)-b(k)=Y{Y}^{†}b(k)-b(k)=(Y{Y}^{†}-I)b(k)$$

到这里为止说明了$\Vert e(k)\Vert$是单调递减的，又因为其有下界0，所以其必定是收敛的。
由于其收敛所以有：
$$\underset{k\to \infty }{\lim }\eta (1-\eta )\Vert e^{+}(k){\Vert }^2+{\eta }^2{e}^{+}t(k)Y{Y}^{†}{e}^{+}(k)=0$$
当$\eta \in (0,1)$时，第一项为正，由于$Y{Y}^{†}$是对称的，半正定的，所以第二项也为正，进而
$$e^{+}(k)\to 0\iff [|e(k)|+e(k)]\to 0\iff [|e(k)|+e(k){]}^T\hat{b}\to 0$$
又有$e^t(k)\hat{b}=0$，故直接推出$|e(k)|\to 0,e(k)\to 0$。

到此证明了如果问题是线性可分的，那么该算法一定收敛到可分的解，且满足MSE的准则。

---

下面对上图中结束循环的条件 $abs(e(k))<min(b(0))$进行说明

事实上只要$Ya(k)>0$就可以停止循环，$abs(e(k))<min(b(0))$是比$Ya(k)>0$更严格的条件。
原因是：
$$\begin{gathered} Ya(k)=b(k)+e(k)\ge b(0)+e(k))\ge b(0)-abs(e(k)) \\ [这是因为b是不减的] \end{gathered}$$

当$abs(e(k))<min(b(0))$时，必然有：
$$Ya(k)\ge b(0)-abs(e(k))>0$$
证毕。