1、其实分类和回归的本质是一样的,都是对输入做出预测,其区别在于输出的类型。
分类问题:分类问题的输出是离散型变量,是一种定性输出。(预测明天天气是阴、晴还是雨)
回归问题:回归问题的输出是连续型变量,是一种定量输出。(预测明天的温度是多少度)。
比如预测房价的问题,如果定一个阀值,我们就可以把房价分成高房价和低房价两类,回归问题变成分类问题,
2、sigmoid函数 的导数在输出接近 0 和 1 的时候是非常小的,故导致在使用最小均方差Loss时,模型参数w会学习的非常慢。而使用交叉熵Loss则没有这个问题。为了更快的学习速度,分类问题一般采用交叉熵损失函数。
3、
在logistic回归中,我们最大化条件概率 来估计参数;而LDA最大化边缘密度 来估计参数。
一般而言,logistic回归更加鲁棒,因为其依赖的假设更少。但在实际运用中,有时不恰当地对定性变量用LDA,也能得到相似的结果
4、
import numpy as np class logistic: def __init__(self, fileName, splitBy='\t'): self.lr = 1e-3 self.epochs = 3000 # 定义学习率和训练轮数 data = np.array([line.split(splitBy) for line in open(fileName).readlines()], dtype='float') self.X &