lip

指定GPU代码 上述使用中，代码3最为常用，keras也可以通过这种方式来调用GPU训练神经网络。 # 代码1： torch.cuda.set_device(1) # 代码2： device = torch.device("cuda:1") # 代码3：（官方推荐使用） os.environ["CUDA_VISIBLE_DEVICES"] = '1' （如果你想同时调用两块GPU的话） os...

感知机 感知机是一个二分类的线性分类模型，输入是特征向量，输出是类别，通常取值为+1和-1。感知机是神经网络和支持向量机的基础。 定义 数学公定义为：f(x)=singn(wx+b)f(x)=singn(wx+b)f(x)=singn(wx+b)，称之为感知机。其中w和b为感知机模型参数，w为权重，b为偏置。而sign()sign()sign()为符号函数，输出值为+1和-1。 几何解释 我们将其...

使用conda&pip创建与管理环境 1.在Linux系统中创建虚拟环境 在这里，默认大家已经安装好了anaconda或者miniconda，并可以使用conda命令。 1.1 在默认/home位置上建立虚拟环境 conda create -n env_name python=x.x 其中，env_name是你想要创建环境的名字，以便日后你可以使用名字来激活相应的环境，比如你可以将其替换...

树模型-ID3决策树-撸清算法逻辑 ID3决策树 下图是判断是否外出打高尔夫球的决策树： 算法流程： 从集合D中选择最优切分属性A，衡量是否为最优的切分属性，ID3采用的是信息增益准则。 按照属性A将集合切分，判断切分后的集合：如果当前节点包含的样本属于同一类别，则无需划分，并将此叶子节点的类别定为此类；当前属性为空，或者所有样本属性集上取值相同，此叶子节点类别为大多数样本类别；当前集合为包含...

树模型-CART决策树-撸清算法逻辑 CART决策树： CART决策树，称为分类与回归树，是一种既可以进行分类，也可以完成回归任务的树模型。CART决策树是一种二叉树，内部节点特征取值表现为‘是’和‘否’。 在选择特征上，分类任务选择基尼系数最小化准则，回归任务选择平方误差最小准则。 回归树生成： 回归树生成的思路是最容易令人理解的，先从回归的角度来讲解。 假定给一个数据集合D，在数据集D所在的数...

ID3、C4.5与CART树的联系与区别： 参考博客： 链接1 链接2 特征选择准则： ID3的特征选择准则为信息增益，即集合D的经验熵H(D)与给定特征A下条件经验熵H(D|A)之差，即： H(D)表现了数据集D进行分类的不确定性，而H(D|A)表现在特征A而使得对数据集D的分类的不确定性的减少。 有公式[1]可知，当特征取值较多时，H(D) – H(D|A)的差就越大，ID3决策树会偏向于选...

集成学习方法-bagging-RandomForest Bagging： 集成学习的主要想法是将若干个弱分类器，通过线性组合，组成一个较强的模型。bagging集成学习的方式，可以实现模型的并行化训练，并且能有效的降低方差。 Bagging算法流程：： （1） 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本。共进行k轮抽取，得到k个训练集。（k个训练...

集成学习方法-Boosting-Adaboost Adaboost算法： AdaBoost，英文为‘Adaptive Boosting’，它的自适应在于：1. 样本权重的自适应学习 2. 模型系数的自适应学习。相对于RF算法，Adaboost更加专注于偏差,它可以降低基学习器的偏差，对基学习器进行进一步的提升。 算法流程： (1) 初始化训练数据的权值分布，对每个样本赋予同样的权值W=1/N。...

提升树模型：从提升树至GBDT树、XGBoost以及LightGBM 提升树 GBDT树 XGBoost LightGBM 对比与总结

GDBT模型、XGBoost和LightGBM之间的区别与联系

逻辑斯蒂回归算法