ISLR第四章-logistic LDA QDA

ISLR第四章的理解

为什么线性回归不可用

通常，两个以上定性变量不能用线性回归建立模型
线性模型不能保证预测值在0，1之间

The Logistic Model

logistic function

$p(X)=\frac{e^{\beta_0+\beta_1X}}{1+e^{\beta_0+\beta_1X}}$

odds 发生比

$\frac{p(X)}{1-p(X)}=e^{\beta_0+\beta_1X}$

范围为0到 $\infty$

log-odds-logit

$log(\frac{p(X)}{1-p(X)})=\beta_0+\beta_1X$

The left-hand side is called the log-odds or logit. We see that the logistic regression model (4.2) has a logit that is linear in X.

使用极大似然法估计回归系数,对虚拟变量也适用

$\ell(\beta_0,\beta_1)=\prod_{i:y_i=1}{p(x_i)}\prod_{i':y_i=0}{(1-p(x_{i'}))}$

Logistic回归实质：发生概率除以没有发生概率再取对数。就是这个不太繁琐的变换改变了取值区间的矛盾和因变量自变量间的曲线关系。

Multiple Logistic Model

p(X)=