scikit-learn/logistic regression识别mnist

逻辑回归的对数似然损失函数cost function：

当y=1时，假定这个样本为正类。如果此时hθ(x)=1,则单对这个样本而言的cost=0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的cost=0
但是如果此时预测的概率hθ(x)=0，那么cost趋向于无穷大，那么此时就要对损失函数加一个很大的惩罚项。
logistic cost定义为：

logistic回归主要是对二分类问题进行分类，如果要用这个算法对多分类问题进行分类，就需要建立相应变量，将多分类问题处理成多个二分类问题，再进行分类。softmax回归可以直接解决多分类问题，对于类别从1到k的问题，可以判别样本属于哪个类。
分类原则：
如果多个类别中，各个类别是可以相互包含的则使用logistic回归，如果是互斥的则使用softmax回归

使用logistic regression 识别mnist

#coding:utf-8
"""
python 3
sklearn 0.18
"""
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import train_test_split