机器学习之逻辑回归

基础概念

• 概念

  • ​用于解决二分类（0或1）问题的机器学习方法，用于估计某种事物的可能性。是一种广义的线性回归分析模型，通过对数据进行建模，预测某个事件的概率。

  • 用一个称为“sigmoid函数”的函数来将预测值转换为概率值。

    • 设置阈值(0.6)，输出概率值大于0.6，则将未知样本输出为1类，否则为0类

  • 是建立模型，基于最大似然估计（Maximum Likelihood Estimation, MLE）来调整参数，使得模型的输出与实际标签之间的差距最小化

  • 可以用于二元分类和多元分类问题，并且可以处理连续和离散的输入变量。此外，逻辑回归还可以用于预测概率，而不仅仅是分类。

• 优点

  计算代价低、思路清晰易于理解和实现

• 缺点

  是一个线性的分类器，不使用额外策略，处理不了非线性问题（线性分类器的通病），容易欠拟合，分类精度可能不高。

• 应用场景

  • 预测疾病（阳性/非阳性）

  • 垃圾邮件过滤、客户购买行为预测

  • 银行信任贷款（放贷、还是不放贷）

  • 情感分析（正面/反面）

  • 预测广告点击率（点击/不点击）