老码侬的博客

L1、L2范数详解

conda常用指令 conda info查看当前conda的主要信息 conda info --envs查看环境列表 conda activate your_env_name 激活环境 conda deactivate 退出当前环境 conda create --name your_env_name python=3.6 numpy pandas 创建带指定包的环境 conda remove --name your_env_name --all 移除环境，注意当前anaconda3/envs文件夹里的文件

决策树是根据数据样本的各个属性及其取值和特殊的判断条件来把样本分类的算法模型。 主要有ID3决策树（Iterative Dichotomiser迭代二分类器），CART决策树。 信息熵：是度量数据中包含信息多少的重要指标，信息熵越小，则代表该数据集中包含的数据信息越少，信息纯度越高。 计算公式：Ent(D) = -sum(pi*log2(pi)), pi代表第i类样本在总样本中的占比，这里的类是根据label的分类, D为总的数据集。 信息增益： Gain(D, a) = Ent(D) - sum

定义： SVM(supported vector machine)支持向量机：在正负样本之间寻找一个分类器使分类器与最近的正负样本之间几何距离最大。 主问题： 以线性分类器为例，f(x) = wx + b = 0, w=(w_1, ......., w_n)为法向量，b为偏移量。如果有一个样本点使得, 则其为正样本，反之即为负样本 数据集中的任意一点x与分类器之间的几何距离为： r=|wx+b|/||w||, svm的目标函数即为求几何距离最近的正负样本点之间几何距离的最大值，即 推导过程：