mmc2015的专栏

总结的很好、很全面。http://www.jianshu.com/p/516f009c0875最近看了《Python数据挖掘入门与实战》，网上有说翻译地不好的，但是说实话，我觉得这本书还是相当不错的。作者Robert Layton是sklearn的开发者之一，书中介绍了很多sklearn使用的技巧和拓展的方法。这里就书中关于sklearn的部分，还有自己学习sklearn的

这里不讨论加载常用的公用数据集，而是讨论加载自己的原始数据（即，实际中遇到的数据）http://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_files.html#sklearn.datasets.load_filessklearn.datasets.load_files(

http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html昨晚写了两篇文章，明明保存了，今早却没了，只好简单的重复一下。。。1、tf：首先要解决high-dimensional sparse datasets的问题，scipy.sparse matrices 就是这样的

参考：http://scikit-learn.org/stable/modules/learning_curve.htmlestimator's generalization error can be decomposed in terms ofbias, variance and noise. The bias of an estimator is its avera

参考：http://scikit-learn.org/stable/model_selection.html有待翻译，敬请期待：3.1. Cross-validation: evaluating estimator performance3.1.1. Computing cross-validated metrics3.1.1.1. Obtain

参考：http://scikit-learn.org/stable/modules/unsupervised_reduction.html对于高维features，常常需要在supervised之前unsupervised dimensionality reduction。下面三节的翻译会在之后附上。4.4.1. PCA: principal compo

http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html#sklearn.feature_extraction.text.CountVectorizerclass sklearn.feature_extraction.text.C

之前写过一篇如何加载自己的数据，参考：http://blog.youkuaiyun.com/mmc2015/article/details/46852755本篇主要写如何加载scikit-learn内置数据，参考：http://scikit-learn.org/stable/datasets/index.html#general-dataset-api重点介绍“5.7：The 20

http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html构建分类器，以NB为例：from sklearn.naive_bayes import MultinomialNBclf = MultinomialNB().fit(X_tfidf, rawData.target)要

参考：http://scikit-learn.org/stable/modules/scaling_strategies.html对于examples、features（或者两者）数量很大的情况，挑战传统的方法要解决两个问题：内存和效率。办法是Out-of-core (or “external memory”) learning。有三种方法可以实现out-of-core，分别是：

http://scikit-learn.org/stable/modules/feature_extraction.html4.2节内容太多，因此将文本特征提取单独作为一块。1、the bag of words representation将raw data表示成长度固定的数字特征向量，scikit-learn提供了三个方式：tokenizing：给每一个token（字、词

http://scikit-learn.org/stable/modules/pipeline.html  1、pipeline和featureUnion是干什么的：pipeline之前已经介绍过了，结合transformer和estimator。featureUinon听名字就知道，将多个transformer的结果vector拼接成大的vector。两者的区别：前者相当

零、所有项目通用的：http://blog.youkuaiyun.com/mmc2015/article/details/46851245（数据集格式和预测器）http://blog.youkuaiyun.com/mmc2015/article/details/46852755（加载自己的原始数据）（适合文本分类问题的 整个语料库加载）http://blog.youkuaiyun.com/mmc2

参考：http://scikit-learn.org/stable/modules/svm.html在实际项目中，我们真的很少用到那些简单的模型，比如LR、kNN、NB等，虽然经典，但在工程中确实不实用。今天我们关注在工程中用的相对较多的SVM。SVM功能不少：Support vector machines (SVMs) are a se

本来有做PPT，可惜了。。。只好看这个草稿纸了。

大家都知道，对于回归任务，GBDT的loss=(y-pred)^2，因此残差residual=2*(y-pred)很容易理解。那么，GBDT做分类任务时，残差是怎样的呢？？？Gradient Boosting attempts to solve this minimization problem numerically via steepest descent，The st

参考：http://scikit-learn.org/stable/modules/ensemble.html在实际项目中，我们真的很少用到那些简单的模型，比如LR、kNN、NB等，虽然经典，但在工程中确实不实用。今天我们关注在工程中用的相对较多的Ensemble methods。Ensemble methods（集成方法）主要是综合多个esti

最近看sklearn的源码比较多，好记性不如烂笔头啊，还是记一下吧。整体：）实现的代码非常好，模块化、多继承等写的很清楚。）predict功能通常在该模型的直接类中实现，fit通常在继承的类中实现，方便不同的子类共同引用。随机森林 和 GBDT）RandomForest的bootstrap是又放回的；GBDT则是无放回的。

http://scikit-learn.org/stable/modules/classes.html#module-sklearn.decompositionReferenceThis is the class and function reference of scikit-learn. Please refer to the full user gui

参考：http://matplotlib.org/api/pyplot_api.html1、matplotlib.pyplot.plot(*args, **kwargs)，最简单的沿坐标轴划线函数：下面四种格式都合法：plot(x, y) # plot x and y using default line style and colorplot(x, y,

画图功能总结（1）：http://blog.youkuaiyun.com/mmc2015/article/details/477461951、回忆之前，快速入门：# -*- coding: utf-8 -*-import numpy as npimport matplotlib.pyplot as pltx = np.linspace(0, 10, 1000)y = np.sin(x

参考：http://scikit-learn.org/stable/modules/label_propagation.htmlThe semi-supervised estimators insklearn.semi_supervised are able to make use of this additional unlabeled data to better ca

http://scikit-learn.org/stable/modules/multiclass.html在实际项目中，我们真的很少用到那些简单的模型，比如LR、kNN、NB等，虽然经典，但在工程中确实不实用。今天我们关注在工程中用的相对较多的 Multiclass and multilabel algorithms。warning：sciki

参考：http://scikit-learn.org/stable/modules/feature_selection.htmlThe classes in the sklearn.feature_selection module can be used for feature selection/dimensionality reduction on sample sets, e

三张表；train_set.csv；test_set.csv；feature.csv。三张表通过object_id关联。import pandas as pdimport numpy as np# load training and test datasetstrain = pd.read_csv('../input/train_set.csv')test = pd.re

http://scikit-learn.org/stable/auto_examples/plot_isotonic_regression.html#example-plot-isotonic-regression-py代码就不贴了，参考上面链接。给个简单的例子：问题描述：给定一个无序数字序列y，通过修改每个元素的值得到一个非递减序列 y‘ ，问如何使y和 y’

参考：http://scikit-learn.org/stable/modules/computational_performance.html对于有些应用，estimators的计算效能（主要指预测新样本时的延迟和吞吐量）非常关键，我们也考虑训练的效能，但由于训练可以offline，所以我们更关注预测时的效能问题。预测延迟（Prediction latency）：预测一个新样本花

http://scikit-learn.org/stable/modules/decomposition.html#lsa第2.5.2部分：2.5.2. Truncated singular value decomposition and latent semantic analysis（截断SVD和LSA/LSA）先说明：latent semantic indexing, LSI和l

http://scikit-learn.org/stable/modules/decomposition.html#lsa2.5.1：PCA标准PCA：只支持批量处理incremental PCA：支持分批处理，对于内存容不下的情况很好Approximate PCA：RandomizedPCA 通过computation to an approximated e

前两篇分别将“加载数据”和“提取tf、tf-idf，进而构建分类器”，其实这个过程，vectorizer => transformer => classifier，早已被“scikit-learn provides a Pipeline class”一下就可以搞定：本篇翻译：http://scikit-learn.org/stable/tutorial/text_analytics/w

之前写过两篇文章，分别是1）矩阵分解的综述：scikit-learn：2.5.矩阵因子分解问题2）关于TruncatedSVD的简单介绍：scikit-learn：通过TruncatedSVD实现LSA（隐含语义分析）今天发现NMF也是一个很好很实用的模型，就简单介绍一下，它也属于scikit-learn：2.5.矩阵因子分解问题的一部分。NMF是另一种压缩方法，前

本文参考：http://scikit-learn.org/stable/data_transforms.html本篇主要讲数据预处理，包括四部分：数据清洗、数据降维（PCA类）、数据增维（Kernel类）、提取自定义特征。哇哈哈，还是关注预处理比较靠谱。。。。重要的不翻译：scikit-learn providesa library of transformers, whi

参考：http://scikit-learn.org/stable/modules/random_projection.htmlThe sklearn.random_projection module 通过trading accuracy（可控的范围）来降维数据，提高效率。实现了两类unstructured random matrix：: Gaussian random mat

上一篇讲了如何加载数据。本篇参考：http://scikit-learn.org/stable/tutorial/text_analytics/working_with_text_data.html主要讲解如下部分：Extracting features from text filesTraining a classifier跑模型之前，需要将文本文件的

内容来自：http://scikit-learn.org/stable/index.html1. Supervised learning1.1. Generalized Linear Models1.2. Linear and quadratic discriminant analysis1.3. Kernel ridge regression1.4. Su

参考：http://scikit-learn.org/stable/modules/metrics.htmlThe sklearn.metrics.pairwise submodule implements utilities to evaluate pairwise distances（样本对的距离） or affinity of sets of samples（样本集的相似度）

参考：http://scikit-learn.org/stable/modules/kernel_approximation.html之所以使用approximate explicit feature maps compared to the kernel trick, 是因为这样便于online learning，且能够适用于大数据集。但是还是建议，如果可能，approximat

参考：http://scikit-learn.org/stable/modules/manifold.html1、流形学习是非线性的降维方法（an approach to non-linear dimensionality reduction）。2、因为随机映射会随机损失数据内部信息；因为类似于PCA、LDA等降维方法基于线性假设，经常会损失数据内部非线性的结构信息

http://scikit-learn.org/stable/tutorial/statistical_inference/settings.html1、数据集：数据集都是2维的，第一维度是“样本维”，第二维度是“特征维”。>>> from sklearn import datasets>>> iris = datasets.load_iris()>>> data =

参考：http://scikit-learn.org/stable/modules/preprocessing_targets.html没什么好翻译的，直接给例子。1、Label binarizationLabelBinarizer is a utility class to help create a label indicator matrix from