nakyoooooo的博客

对于这个任务，我们有10个可能的类，并且由于逻辑回归只能一次在2个类之间进行分类，我们需要多类分类的策略。在本练习中，我们的任务是实现一对一全分类方法，其中具有k个不同类的标签就有k个分类器，每个分类器在“类别 i”和“不是 i”之间决定。我们将把分类器训练包含在一个函数中，该函数计算10个分类器中的每个分类器的最终权重，并将权重返回为k X（n + 1）数组，其中n是参数数量。对于这一步，我们将计算每个类的类概率，对于每个训练样本（使用当然的向量化代码），并将输出类标签为具有最高概率的类。

如果你对正则化有点眼生，或者喜欢这一节的方程的背景，请参考在"exercises"文件夹中的"ex2.pdf"。简而言之，正则化是成本函数中的一个术语，它使算法更倾向于“更简单”的模型（在这种情况下，模型将更小的系数）。看起来在两类间，有一个清晰的决策边界。看起来不错，接下来，我们需要一个函数来计算我们的训练数据、标签和一些参数thata的梯度。现在，让我们尝试调用新的默认为0的theta的正则化函数，以确保计算工作正常。最后，我们可以使用第1部分中的预测函数来查看我们的方案在训练数据上的准确度。

假设我们的训练集特征矩阵为 X（包含了𝑥0=1）并且我们的训练集结果为向量 y，则利用正规方程解出向量 𝜃=(𝑋𝑇𝑋)−1𝑋𝑇𝑦。正规方程：不需要选择学习率α，一次计算得出，需要计算(𝑋𝑇𝑋)−1，如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为𝑂(𝑛3)，通常来说当𝑛小于10000 时还是可以接受的，只适用于线性模型，不适合逻辑回归模型等其他模型。练习1还包括一个房屋价格数据集，其中有2个变量（房子的大小，卧室的数量）和目标（房子的价格）。我们使用我们已经应用的技术来分析数据集。