逻辑回归笔记

逻辑回归和线性回归的区别

逻辑回归和线性回归（Linear Regression）的区别如下：

普通线性回归主要用于连续变量的预测，即，线性回归的输出y的取值范围是整个实数区间（y∈R）
逻辑回归用于离散变量的分类，即它的输出y的取值范围是一个离散的集合，主要用于类的判别，而且其输出值y表示属于某一类的概率

逻辑回归主要用于分类问题，常用来预测概率，如知道一个人的年龄、体重、身高、血压等信息，预测其患心脏病的概率是多少。经典的LR用于二分类问题（只有0,1两类）。

线性回归的公式是：

逻辑回归其思想也是基于线性回归，公式如下：

可以看成：

这就是sigmoid函数，我们把图像画出来

我们可以看到，sigmoid的函数输出是介于（0，1）之间的，中间值是0.5，于是之前的公式 hθ(x) 的含义就很好理解了，因为 hθ(x) 输出是介于（0，1）之间，也就表明了数据属于某一类别的概率，例如 ：
hθ(x)<0.5 则说明当前数据属于A类；
hθ(x)>0.5 则说明当前数据属于B类。

刚才说过

有28x28个像素，即784个像素，所以n=784
θ的维度为(785, 1)
转置后维度为(1,785)

θ0X0 + θ1X1 + …+ θnXn ，其中X0 = 1
X的维度为(785, 1)
所以X和θ相乘后会变为一个1 x 1的矩阵，即为一个数

再把z代到这个公式里

那这个θ要怎么求呢
有个代价函数