机器学习随记1-逻辑回归（Logistic Regression）-1

刚参加完校招，虽然社招经历过无数次了，但是作为校招算法面试官我还是第一次。我承认作为面试官对某些算法的面试是有偏好的。譬如说我就喜欢问SVM相关的问题，估计可能是以前在看这个算法时受到的刺激比较大。^_^
经过了校招发现大家对算法的掌握程度还是不一样的，有些人对某个算法问题的掌握还是比较深入的。比如SVM，为什么叫支持向量机，什么是对偶问题求解，KKT算法等等。后来跟同行的面试官交流，他说：“机器学习算法的面试技巧太多，网上也有很多资源，实际上像上面即便能手推SVM也不算什么，最重要的是考察一些实际的机器学习的应用场景更重要，比如LR算法………………”
那今天就聊一下LR算法吧！

Logistic regression （逻辑回归）是当前业界比较常用的机器学习方法，用于估计某种事物的可能性。

这句话的真实性不容置疑，因为在一些广告预估，推荐算法中经常会用到。

广告预测，也就是根据某广告被用户点击的可能性，把最可能被用户点击的广告摆在用户能看到的地方，然后叫他“你点我啊！”用户点了，你就有钱收了。这就是为什么我们的电脑现在广告泛滥的原因了。

Logistic regression可以用来回归，也可以用来分类，主要是二分类。
看到一篇博文中是这么写的，给的例子很有意思，如下：

……………….还记得上几节讲的支持向量机SVM吗？它就是个二分类的例如，它可以将两个不同类别的样本给分开，思想是找到最能区分它们的那个分类超平面。但当你给一个新的样本给它，它能够给你的只有一个答案，你这个样本是正类还是负类。例如你问SVM，某个女生是否喜欢你，它只会回答你喜欢或者不喜欢。这对我们来说，显得太粗鲁了，要不希望，要不绝望，这都不利于身心健康。那如果它可以告诉我，她很喜欢、有一点喜欢、不怎么喜欢或者一点都不喜欢，你想都不用想了等等，告诉你她有49%的几率喜欢你，总比直接说她不喜欢你，来得温柔。而且还提供了额外的信息，她来到你的身边你有多少希望，你得再努力多少倍，知己知彼百战百胜，哈哈。Logistic
regression就是这么温柔的，它给我们提供的就是你的这个样本属于正类的可能性是多少…………………

转换为对数概率的形式，如下所示：

未完待续…………………………….