多类别分类——吴恩达课程作业python代码实现

一、模型建立

对于二元分类的数据模型如下；

使用两种符号表示两个不同的数据集。
对于二元分类，上一篇博客已经给出分析：二元分类原理分析，及代码实现过程
运用逻辑回归，很好地实现了分类的功能。
对于一个多分类问题，以三元分类为例，建立数据模型如下，

使用三种符号，表示三种不同类别的数据集。

现在已经知道如何进行二元分类，可以使用逻辑回归，对于直线，同时可以将数据集一分为二为正类和负类。用一对多的分类思想，我们可以将其用在多类分类问题上。有时这个方法也被称为"一对余"(one-vs-rest)方法。

二、一对多分类方法(one-vs-all)

以三元分类为例，有一个训练集，好比上图表示的有3 个类别，我们用三角形表示 ? = 1，方框表示? = 2，叉叉表示 ? = 3。通过使用一个训练集，将其分成3 个二元分类问题。
　　先从用三角形代表的类别1 开始，实际上可以创建一个，新的"伪"训练集，类型2 和类型3 定为负类，类型1 设定为正类，创建一个新的训练集，如下图所示的那样，要拟合出一个合适的分类器。
　　
　　这里的三角形是正样本，而圆形代表负样本。可以这样想，设置三角形的值为1，圆形的值为0，下面来训练一个标准的逻辑回归分类器，这样我们就得到一个正边界。为了能实现这样的转变，我们将多个类中的一个类标记为正向类（? = 1），然后将其他所有类都标记为负向类，这个模型记作$h_{\theta 1}(x)$;接着，类似地选择另一个类标记为正向类（? = 2），再将其它类都标记为负向类，将这个模型记作$h_{\theta 2}(x)$;依此类推。
　　最后得到一系列的模型简记为：
　　

最后，在需要做预测时，将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。

三、分类器实现

以数字字迹识别为例，讨论多类别分类问题。

1，加载数据集（Dateset），可视化

首先，加载数据集。这里的数据为MATLAB的格式，所以要使用SciPy.io的loadmat函数。

def load_data(path):
    data = loadmat(path)
    X = data['X']
    y = data['y']
    return X,y

X, y = load_data('ex3data1.mat')
print(np.unique(y))  # 看下有几类标签
# [ 1  2  3  4  5  6  7  8  9 10]
X.shape, y.shape
# ((5000, 400), (5000, 1))

控制台输出数据中的类别

其中有5000个训练样本，每个样本是20*20像素的数字的灰度图像。每个像素代表一个浮点数，表示该位置的灰度强度。20×20的像素网格被展开成一个400维的向量。在我们的数据矩阵X中，每一个样本都变成了一行，这给了我们一个5000×400矩阵X，每一行都是一个手写数字图像的训练样本。
由Y数组，查看得到数据集分为，[1,2,3,4,5,6,7,8,9,10]十个类别。
随机查看1个训练样本，查看100个训练样本。

def plot_an_image(X):
    """
    随机打印一个数字
    """
    pick_one = np.random.randint(0, 5000)
    image = X[pick_one, :]
    fig, ax = plt.subplots(figsize=(1, 1))
    ax.matshow(image.reshape((20, 20)), cmap='gray_r')
    plt.xticks([])  # 去除刻度，美观
    plt.yticks([])
    plt.show()
    print('this should be {}'.format(y[pick_one]))


def plot_100_image(X):
    """ 
    随机画100个数字
    """
    sample_idx = np.random.choice(np.arange(X.shape[0]), 100)  # 随机选100个样本
    sample_images = X[sample_idx, :]  # (100,400)
    
    fig, ax_array = plt.subplots(nrows=10, ncols=10, sharey=True, sharex=True, figsize=(8, 8))

    for row in range(10):
        for column in range(10):
            ax_array[row, column].matshow(sample_images[10 * row + column].reshape((20, 20)),
                                   cmap='gray_r')
    plt.xticks([])
    plt.yticks([])        
    plt.show()

2，向量化逻辑回归

使用多个one-vs-all(一对多)logistic回归模型来构建一个多类别分类器。由于有10个类，需要训练10个独立的分类器。为了提高训练效率，重要的是向量化。

2.1向量化正则化的代价函数

正则化的logistic回归的代价函数是：
$J(\theta )=-\frac{1}{m}[{\sum }_{i=1}^m$