lip

指定GPU代码上述使用中，代码3最为常用，keras也可以通过这种方式来调用GPU训练神经网络。# 代码1：torch.cuda.set_device(1)# 代码2：device = torch.device("cuda:1")# 代码3：（官方推荐使用）os.environ["CUDA_VISIBLE_DEVICES"] = '1'（如果你想同时调用两块GPU的话）os...

GDBT模型、XGBoost和LightGBM之间的区别与联系

提升树模型：从提升树至GBDT树、XGBoost以及LightGBM提升树GBDT树XGBoostLightGBM对比与总结

集成学习方法-Boosting-AdaboostAdaboost算法：AdaBoost，英文为‘Adaptive Boosting’，它的自适应在于：1. 样本权重的自适应学习 2. 模型系数的自适应学习。相对于RF算法，Adaboost更加专注于偏差,它可以降低基学习器的偏差，对基学习器进行进一步的提升。算法流程：(1) 初始化训练数据的权值分布，对每个样本赋予同样的权值W=1/N。...

集成学习方法-bagging-RandomForestBagging：集成学习的主要想法是将若干个弱分类器，通过线性组合，组成一个较强的模型。bagging集成学习的方式，可以实现模型的并行化训练，并且能有效的降低方差。Bagging算法流程：：（1） 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本。共进行k轮抽取，得到k个训练集。（k个训练...

ID3、C4.5与CART树的联系与区别：参考博客：链接1链接2特征选择准则：ID3的特征选择准则为信息增益，即集合D的经验熵H(D)与给定特征A下条件经验熵H(D|A)之差，即：H(D)表现了数据集D进行分类的不确定性，而H(D|A)表现在特征A而使得对数据集D的分类的不确定性的减少。有公式[1]可知，当特征取值较多时，H(D) – H(D|A)的差就越大，ID3决策树会偏向于选...

树模型-CART决策树-撸清算法逻辑CART决策树：CART决策树，称为分类与回归树，是一种既可以进行分类，也可以完成回归任务的树模型。CART决策树是一种二叉树，内部节点特征取值表现为‘是’和‘否’。在选择特征上，分类任务选择基尼系数最小化准则，回归任务选择平方误差最小准则。回归树生成：回归树生成的思路是最容易令人理解的，先从回归的角度来讲解。假定给一个数据集合D，在数据集D所在的数...

树模型-ID3决策树-撸清算法逻辑ID3决策树下图是判断是否外出打高尔夫球的决策树：算法流程：从集合D中选择最优切分属性A，衡量是否为最优的切分属性，ID3采用的是信息增益准则。按照属性A将集合切分，判断切分后的集合：如果当前节点包含的样本属于同一类别，则无需划分，并将此叶子节点的类别定为此类；当前属性为空，或者所有样本属性集上取值相同，此叶子节点类别为大多数样本类别；当前集合为包含...

使用conda&pip创建与管理环境1.在Linux系统中创建虚拟环境在这里，默认大家已经安装好了anaconda或者miniconda，并可以使用conda命令。1.1 在默认/home位置上建立虚拟环境conda create -n env_name python=x.x其中，env_name是你想要创建环境的名字，以便日后你可以使用名字来激活相应的环境，比如你可以将其替换...

感知机感知机是一个二分类的线性分类模型，输入是特征向量，输出是类别，通常取值为+1和-1。感知机是神经网络和支持向量机的基础。定义数学公定义为：f(x)=singn(wx+b)f(x)=singn(wx+b)f(x)=singn(wx+b)，称之为感知机。其中w和b为感知机模型参数，w为权重，b为偏置。而sign()sign()sign()为符号函数，输出值为+1和-1。几何解释我们将其...

逻辑斯蒂回归算法