超限学习机(ExtremeLearningMachine,ELM)

构建随机矩阵$W_{N\ast (n+1)}$

若W中的元素都是取自一个连续分布，激活函数f（X）为一个无穷连续可导的非多项式函数，则矩阵：
$$f(WX)$$
是一个依概率1为可逆的矩阵。这样隐层权矩阵是不需要学习的，只需要学习从隐层到输出层的权矩阵$\beta$, $w和\beta$即为超限学习机的模型，其中w为一个固定的随机矩阵，$\beta$是通过计算得到的参数（也是该模型中唯一的参数），如果取实际输出等于期望输出，这是一个求逆矩阵或M-P广义逆矩阵的过程。对于权矩阵行数小于样本数的情况也采用相同的方法来处理。即：
$$\beta H=Y$$
其中：
$$H=f(WX),H表示第二层的权重$$
则：
$$\beta =Y{H}^{+}$$
其中$H^{+}$表示$H$的M-P广义逆。
正则化求权矩阵\beta ，对式子
$$\beta H=Y$$
转换为：
$$\beta H{H}^T=Y{H}^T$$
由于$H{H}^T$是半正定矩阵，可以进行正则化，即将$H{H}^T$修改为$\lambda I+H{H}^T$后，即：
$$\beta (\lambda I+H{H}^T)=Y{H}^T$$
其中$\lambda >0$是一个常数，而$I$是一个单位矩阵，从而有
$$\beta =Y{H}^T(\lambda I+H{H}^T{)}^{-1}$$
正则化优势在于在没有损失精度的条件下，计算速度提高很多。

为了进行二维绘图，我们将n定为1，即只有一个特征。

import numpy as np
import matplotlib.pyplot as plt
x_num=100
w_num=16
x=np.linspace(-20,20,x_num)
y=np.sin(x)/x
w = np.random.rand(w_num, 2) - 0.5
def train(x,y,w):
    N = np.size(x, axis=0)
    x = np.reshape(x, (1, N))
    y = np.reshape(y, (1, N))
    ones = np.ones((1, N))
    x = np.vstack((x, ones))

    g = np.dot(w, x)
    h = 1 / (1 + np.exp(-g))
    hn = np.linalg.pinv(h)
    beta = np.dot(y, hn)
    return beta

x_test_num=100
x_test=np.linspace(-10,10,x_test_num)
def predict(x_test,beta,w):
    M=np.size(x_test,axis=0)
    x_test=np.reshape(x_test,(1,M))
    ones=np.ones((1,M))
    x_test=np.vstack((x_test,ones))
    g=np.dot(w,x_test)
    h=1/(1+np.exp(-g))
    y_pre=np.dot(beta,h)
    return y_pre

beta=train(x,y,w)
y_pre=predict(x_test,beta,w)
print(y_pre)

plt.plot(x,y,'b')
plt.plot(x_test,y_pre[0],'r')
plt.show()

需要注意的是w在训练和预测中为同一个。