轻松入门自然语言处理系列 03 机器学习基础-逻辑回归

前言

本文主要介绍了机器学习最重要的基础之一，逻辑回归，包括条件概率、逻辑回归的目标函数、梯度下降法、随机梯度下降法，以及预测银行客户是否开设账户的案例。

一、逻辑回归中的条件概率

1.逻辑回归的应用

有一些经典的二分类问题：

• 预测贷款违约状况（会违约/不会违约）
• 情感分析（正面/负面）
• 预测广告点击率（会点击/不会点击）
• 预测疾病（阳性/阴性）

如下：

这些二分类问题都可以使用逻辑回归来解决。逻辑回归是二分类问题的“神器”，非常简单和实用，是在线上系统中使用率最高的模型。

2.理解基准

基准（baseline）在AI建模过程中非常重要。搭建模型可以从简单到复杂，基准就是一个简单的模型，可以用于验证模型的效果，同时用来验证待验证模型的可行性。简单来讲，在设计模型的阶段，首先试图通过简单的方法来快速把系统搭起来，之后逐步把模块细化，从而不断得到更好的解决方案。对于分类任务，逻辑回归模型可以称得上是最好的基准，也是比较靠谱的基准，因此搭建任何分类模型时首先可以考虑逻辑回归，之后再逐步尝试更复杂的模型。

如下：