laymenISmouse的专栏

由于要使用机器学习，所以需要安装sklearn机器学习库，而在安装sklearn机器学习库之前需要安装numpy和scipy在开始前，我检查了下了自己的pycharm是否安装了numpy 和scipy如图所示：

从哪里提高泛化性能？abaBoost是基于错误e,不断迭代更新e,来提升分类器的性能的。Bagging是基于“自助采样法”来提升分类器的性能的。p179页说到，由于每个基学习器只使用了初始的训练集中大概63.2%的样本，剩下的36.8%的样本可作为验证集来对泛化性能进行“外包估计”,可以使用包外样本来辅助剪枝。从而可以提高了泛化性能吧。泛化性能到底指什么咧？在2.2评估方法

前言分类器有时会产生错误结果，这是要求分类器给出一个最优的类别猜测结果，同时给出这个猜测的概率估计值。1.使用概率论分布进行分类2.学习朴素贝叶斯分类器3.解析RSS源数据4.使用朴素贝叶斯来分析不同地区的态度基于贝叶斯决策理论的分类方法优点：在数据较少的情况下仍然有效，可以处理多类别问题；缺点：对于输入数据的准备方式较为敏感；适用数据类型：标称型数据

前言（1）Sigmoid函数和Logisitic回归分类器（2）最优化理论初步（3）梯度下降最优化算法（4）数据中缺失项处理利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优算法。

引言邮件分类系统：首先检测发送邮件域名地址，如果地址为MyEmployer.com则将其放在分类“无聊时需要阅读的邮件”中。如果邮件不是来自这个域名，则检查邮件内容里是否包含单词曲棍球，如果包含则将邮件归类到“需要及时处理的朋友邮件”，如果不包含则将邮件归类到“无需阅读的垃圾邮件”。思路（1）从一堆原始数据中构造决策树，首先我们讨论构造决策树的方法，编写构造树的python

2.1经验误差与过拟合（1）误差：学习器的实际预测输出与样本的真实输出之间的差异；（2）训练误差（经验误差）：学习器在训练集上的误差；（3）泛化误差：在新样本上的误差；故我们希望得到泛化误差小的学习器，而实际能做的是使训练误差最小化。（4）过拟合：学习器把训练样本学得“太好”了，很可能已经把训练集样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能降低

Reference:http://wenku.baidu.com/link?url=4i4k3plP4BSb_6-SpohcuE13_xSm14O5atwLWwgDz-X_xP_9TL8KZ2nngM6ZIBwtgjtTMzSElCDreRDSL3tzhGz3tcPHB3rRXjSOxe320_Chttp://blog.sina.com.cn/s/blog_46a241200100vv

简介：matplotlib 是Python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。在Python中使用matplotlib.pyplot快速绘图下面是matplotlib库所给的介绍"""This is an object-oriented plotting library.

# coding=gbk__author__ = 'Mouse'import sysimport pandas as pdimport timefrom sklearn import metricsimport cPickle as picklefrom sklearn.preprocessing import OneHotEncoderfrom sklearn.preproces