本文探讨逻辑回归（LR）与神经网络（NN）之间的联系。LR可视为单层神经网络，其激活函数通常为sigmoid。Softmax回归是多维逻辑回归，可视为单层多神经元的NN。NN的激活函数除sigmoid外，还包括tanh。虽然LR的cost函数是凸的，但多层NN的cost函数非凸，可能导致局部最小值。
本文讨论的关键词：Logistic Regression（逻辑回归）、Neural Networks（神经网络）
之前在学习LR和NN的时候，一直对它们独立学习思考，就简单当做是机器学习中的两个不同的models，从来没有放在一起观察过，最近通过阅读网络资料，才发现，原来LR和NN之间是有一定的联系的，了解它们之间的联系后，可以更好地理解
Logistic Regression（逻辑回归）和Neural Networks（神经网络）
- Logistic Ｒegression：典型的二值分类器，用来处理两类分类问题，当然，也可以用来处理多类问题，但要转换为One-vs-All或者是One-vs-One问题；Andrew Ng的机器学习课程中有对此的详细介绍
- 专门用来进行多类分类问题的多维逻辑回归器为：
Softmax regression / multinomial Ｌogistic Ｒegression； - 虽然逻辑回归器有许多的kernelized variants，但standard model（即最原始的LR）是一个线性分类器，主要用来处理数据集为more or less线性可分的情况；
- 专门用来进行多类分类问题的多维逻辑回归器为：
- Neural Networks：神经网络，由多个神经元构造，可以有多个输入、多个输出
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
