6、机器学习中的线性模型、朴素贝叶斯分类器与决策树

机器学习中的线性模型、朴素贝叶斯分类器与决策树

1. 线性模型的分类精度

在不同的正则化参数 C 下，L1 逻辑回归（L1 Logreg）有着不同的训练和测试精度：
| C值 | 训练精度 | 测试精度 |
| ---- | ---- | ---- |
| 0.001000 | 0.913146 | 0.923077 |
| 1.000000 | 0.960094 | 0.958042 |
| 100.000000 | 0.985915 | 0.979021 |

从这些数据可以看出，随着 C 值的增大，训练精度和测试精度都有所提高，但也可能会出现过拟合的风险。

2. 多类分类的线性模型

许多线性分类模型是二分类模型，不能自然地扩展到多类分类问题，逻辑回归是个例外。常用的将二分类算法扩展到多类分类算法的技术是一对其余（one-vs-rest）方法。

2.1 一对其余方法原理

在一对其余方法中，为每个类学习一个二分类模型，该模型试图将这个类与所有其他类分开，最终得到的二分类模型数量与类的数量相同。进行预测时，所有二分类器都会在测试点上运行，在其单一类上得分最高的分类器“获胜”，并将该类标签作为预测结果返回。

2.2 代码示例

以下是使用 sklearn 库中的 make_blobs 函数生成一个简单的三维分类数据集，并使用 LinearSVC 分类器进行训练的代码：