机器学习各类算法思路总结三(逻辑回归与KNN、KD树)

逻辑回归

• 首先，要明确的是，逻辑回归并不是监督学习中的回归类算法，是属于监督学习中的分类型算法
• 逻辑回归，不但可以能够进行分类，而且还能够获取属于该类别的概率
• 监督学习的思想，通俗的讲，就是为所有的样本，一一进行打分，然后设置一个阈值，按照按照阈值为分隔点，将样本分隔为不同的类别（达到阈值的一类，不达到的一类）
• 而，为样本打分的这一步，实际上和线性回归算法是一致的，都是利用最大似然估计，得到所有样本的联合概率密度函数（即似然函数）,然后得到损失函数，根据梯度下降（线性回归根据最小二乘法），最终求得合适的w值，使得损失函数的值最小。
• 区别在于，线性回归利用$w_1{x}_1+w_2{x}_2+\dots \dots +w_n{x}_n+b$, 得到的是 y的预测值 $\hat{y}$， 而逻辑回归中，利用$w_1{x}_1+w_2$