scikit-learn常用的用法及问题

最新推荐文章于 2024-05-22 19:09:13 发布

Jacketinsysu

最新推荐文章于 2024-05-22 19:09:13 发布

阅读量3.5k

点赞数 1

分类专栏：机器学习文章标签：机器学习 scikit

本文链接：https://blog.youkuaiyun.com/Jacketinsysu/article/details/50880195

版权

机器学习专栏收录该内容

4 篇文章

订阅专栏

本文总结了scikit-learn中常用的交叉验证方法，包括训练集和验证集划分、k折交叉验证和Leave-One-Out Cross Validation，并介绍了模型的持久化操作，便于快速加载已训练模型。此外，还提到了如何在实践中选择合适的机器学习模型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对平时用机器学习算法常遇到的问题做个总结～

A. 交叉验证

交叉验证是为了评估当前的模型对于整个dataset的generalization error怎么样（如果太大，表示overfit或者underfit），根据[3]的介绍，一般有三种，根据对数据集划分成training set和validation set的比例不同来分的——

划分一小部分作为validation set；
划分成k等分（k >= 2），一份作为validation set，其它的作为training set；
逐个sample拿出来作为validation set，其它的作为training set。

下面分别展示：

A1. 划分training set和validation set

为了防止过度拟合、或验证训练出来的模型的效果，一般会将原始的训练集随机地划分一部分作为validation set（一般20%-40%的数据量），当然还有更好的k-fold-cross-validation，后面再介绍。

from sklearn.cross_validation import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.4, random_state=4)
# random_state的解释是Pseudo-random number generator state used for random sampling
# 我是看不懂啦，目测应该是类似C++语言中的随机种子的东西，不要太在意这个细节～

A2. k-fold-cross-validation

划分成k等分（k >= 2），一份作为validation set，其它的作为training set，每一份都有一次机会作为validation set，总共做k次。
下面用Iris数据集作为例子来说明：

from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn.linear_model import LogisticRegression
from sklearn import svm


def cv_estimate(model, X, KF):
    k_fold = KFold(n = X.shape[0], n_folds = KF)
    all_score = 0
    for k, (train_index, test_index) in enumerate(k_fold):
        # print(X.shape, train_index, test_index)
        model.fit(X[train_index], y[train_index])
        score = model.score(X[test_index], y[test_index])
        print("[fold {0}], score: {1:.5f}".format(k, score))
        all_score += score
    return all_score / KF


# 加载Iris数据集
iris = load_iris()
X = iris.data
y = iris.target

# 设置K值和选择线性回归作为分类模型
K = 6
# model = LogisticRegression()
# svm的结果明显比逻辑回归的要好很多！
model = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
print('{0}-fold validation rate is {1:.5f}'.
format(K, cv_estimate(model, X, K)))

其实上面只是为了演示kFold的过程而已，scikit-learn其实将这个常用的操作给封装了，可以更简单地这么写就好了：

from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn import svm


iris = load_iris()
X = iris.data
y = iris.target

K = 6
model = svm.SVC(kernel='linear', C=1)
scores = cross_validation.cross_val_score(model, X, y, cv=K)
print(scores)

A3. Leave-One-Out Cross Validation（LOO-CV）

这个其实是k-fold的特殊情况，即k = N，N为数据集的规模。不过一般来说，如果不是数据集很小或者训练模型很快的话，这样做的速度太慢了，无法让人接受～有兴趣的话，看一下[4]就好了，这里不做介绍。

B. 模型的持久化

其实就是保存模型为文件，然后要用的时候从文件中将模型加载出来。为什么要这样做呢？是因为有的模型训练时间太长了，或者是读取训练数据的时间太长了，如果你只是在debug后续部分的代码的话，前面这部分就没必要浪费时间了，直接加载已经训练好的模型就好了。当然，这只是我遇到的需求，各人有各人的需要。在scikit-learn里面保存和加载很简单，示例如下：

from sklearn.externals import joblib
from sklearn.datasets import load_iris
from sklearn.cross_validation import KFold
from sklearn import svm


iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=4)

model = svm.SVC(kernel='linear', C=1).fit(X_train, y_train)
modelFileName = 'logRes.model'

# 保存模型
joblib.dump(model, modelFileName)

# 加载模型
model = joblib.load(modelFileName)

C. More

后面将会介绍在kaggle上实战中遇到的问题，如特征值的归一化、grid search来选择参数、特征相关性的分析、可视化等等。
ps，这些天看scikit-learn的文档，总是匆匆忙忙看到怎么用就过了，不去仔细看它的例子和说明，刚才静下心看了一篇，发现它的例子代码写得很精辟，比我好得多得多！！！以后要耐心多多学习[fighting]