<机器学习笔记-04 ><scikit-learn 04>逻辑回归

<机器学习笔记-04 >逻辑回归

---

关键词：机器学习，python，scikit-learn，逻辑回归，Latex

摘要：本文主要介绍了分类任务的分类，逻辑回归的概念，以及分类评估方法；同时介绍了如何使用python对分类任务进行建模、预测结果以及结果评价，以及使用GridSearch方法进行优化；

注：LaTeX常见命令请参考wikibooks，笔者将其pdf上传到csdn下载中。

---

1. 知识要点总结

   1. 掌握概念：分类任务（二元分类、多类分类、多标签分类）

   2. 理解：广义线性回归概念，以及逻辑回归属于线性模型的原因；

   3. 理解分类评估方法：准确率、精确率、召回率、误警率、综合评价指标、ROC-AUC值、混淆矩阵、汉明损失函数，杰卡德相似度；

   4. 掌握使用python，针对二元分类和多类分类，训练逻辑回归模型，预测结果，对结果进行评价（各类分类评估方法）；会使用GridSearch方法进行优化求解；

2. 基本概念与理论分析

   1. 分类任务：目标是寻找一个函数，把观测值匹配到相应的类和标签上；逻辑回归（logistic regression）可以用来处理分类任务；常见分类可以分为二元分类（binary classification）、多类分类（multi-class classification）以及多标签分类（multi-label classification）；

   2. 广义线性回归用一个联连函数（link function）来描述解释变量和响应变量的关系；普通线性回归使用恒等联连函数（identity link function），将解释变量通过线性组合方式来联接服务正态分布的响应变量；逻辑回归的联连函数称为逻辑函数（logistic function），响应变量等于或者超过指定的临界值，预测结果就是正面，否则预测结果就是反面；

      $$F(t)=\frac{1}{1+e^{-t}}$$

   3. 逻辑回归被认为是线性模型的原因（参考周志华《机器学习》）：

      1. 线性模型（linear model）试图用线性组合进行预测的函数，即

         $$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$$

         用向量形式写为

         $$f(x)=\mathbf{\omega}^T\mathbf{x}+b$$

      2. 从逻辑函数可以推导得到

         lny1−y=ωT