yyuanse的博客

先安装包，直接安装可能会出现问题，建议改成清华大学提供的网站进行安装，安装速度快不会出错，命令行模式安装的话：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple 包名称。这里看到基础模型训练的结果比带入最优参数后的结果更好，原因在于基础训练里面，我们设置了200步，而最优参数才只需要20步。我用转用线上的 jupyter notebook来写剩下的部分。一个叶子的直方图可以由他的父亲节点的直方图与它兄弟节点的直方图做差得到，效率会高很多。

由于有好几个参数min_child_weights,subsamples,consample_bytrees没有跑，没找出最优的值，所以最后的log_loss的值还是有些大的。：集成中只包含同种类型的“个体学习器”相应的学习算法称为“基学习算法”(base learning algorithm)(串行)基本思想：基分类器层层叠加，每一层在训练的时候对前一层基分类器分错的样本给予更高的权重。，训练得到的模型复杂度哈皮，但是当训练数据集较小的时候，模型容易出现问题。，它对训练数据以及未知数据都有较好的预测。

决策树：是一种树形结构，其中每个内部节点表四一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点表示一种分类结果，本质是一颗由多个判断节点组成的树。，如在信息增益案例题中，我们计算时忽略了第一列即编号列，实际上信息增益会偏向选择第一列(类别有15种)、第三列(类别有3种)…ID3、C4.5、CART在特征选择的时候都是选择一个最优的特征来分类决策，但是不应该只由某一个特征进行决定，应该由一组特征决定，OC1就是这样的。基尼值Gini(D)：从数据集D中随机抽取两个样本，器类别标记不一致的概率。

缺点：会忽略文本的表达顺序，如我爱你和你爱我，表示都一样。是指在一个向量中，只有一个位置上的值是1，其他位置都是0.缺点：无法表现词与词之间的语义关系，当数据量大的时候，维数也会变得很大。：与Count Vectors类似，不过加入了相邻单词组合成新的单词，并且进行计数。stopwords.csv上网找一个中文禁用词表即可，我用的是这一篇博客提供的。适合完完全全的小白读，有其他语言经验的可以去看别的书,差评。中规中矩的教科书，零基础的看了依旧看不懂,差评。很好的入门书，简洁全面，适合小白,好评。

其属性DESCR是数据描述，target_names是标签名，可自定义默认为文件夹名字，filenames文件夹名，target文件分类可以看成y值，data是数据数组可以看成X。特征选择和特征抽取都减少了数据的维度(降维)，但是特征选择是得到原有特征的子集，特征抽取是将原有特征结果函数映射转化为新的特征。同一个向量在不同基底的变换，选择不同的及可以对同样一组数据给出不同的表示。和PCA一样通过投影的方法达到去除数据间冗余的一种算法。，以去除数据的相关性，并使降维后的数据最大程度保持原始高维数据的。

有些编译工具在绘图的时候不需要写plt.show()或者是print就可以显示绘图结果或者是显示打印结果，pycharm需要（matplotlib.pyplot）

有些编译工具不用写print可以直接将数据打印出来，pycharm需要写print才会打印出来。

多分类multiclass classification：一种分类任务，包括多个类别，每个输入样本都应该被划分到多类别的其中一类。二分类binary classification：一种分类任务，包括两个类别，每个输入样本都应该被划分到两个类别的其中一类。1.AI的基础学科包括：数学（离散、模糊）、思维科学（认知心理、逻辑思维学、形象思维学）和计算机（硬件、软件）等。标签label：分类问题中列别标注的具体例子，例子：用“0”表示“猫”，用“1”表示“狗”例子：对猫狗分类的时候，狗和猫就是两个类别。

转化数据类型、处理重复数据、处理缺失数据。