大胃德的算法小屋

文章目录1、首先是模型2、接下来设定目标函数=损失函数+正则项。3、如何得到树树怎么转换成权重1、首先是模型基学习器为树模型、采用boosting集成方法2、接下来设定目标函数=损失函数+正则项。2.1 不限定损失函数的具体形式，只要其二阶可导。这样我们不需要为每一个具体的损失函数单独推导一个模型，而是得到一个通用的模型2.2 再看正则项用这个来控制树的复杂度。后一项是L2，是...

前言我们知道，线性回归的公式是hθ(x)=θTxh_{\theta}(x)={\theta}^Txhθ​(x)=θTx如果想实现分类功能，就需要把输出变成一个阶跃函数，比如y={0;z⩽01;z⩾0,z=hθ(x)y=\left\{\begin{matrix}0; & z\leqslant 0 \\ 1; & z \geqslant 0\end{matrix}\...

文章目录问题1：LR和线性回归，有何异同问题2：为什么要用Sigmoid问题3：为什么叫对数几率函数问题4：为什么LR用最大似然而不是最小二乘作为损失函数问题5：逻辑回归在训练的过程当中，如果有很多的特征高度相关或者说有一个特征重复了100遍，会造成怎样的影响？问题6：LR的缺点问题7：LR和神经网络的关系问题1：LR和线性回归，有何异同1、LR是分类问题，线性回归是回归问题，这是最本质的区别...

转自https://www.jiqizhixin.com/articles/2018-02-05-2分类测试问题将看三个分类问题：blobs、moons 和 circles。线性分类make_blobs() 函数可被用于生成具有高斯分布的 blobs 点。你可以控制生成 blobs 的数量，生成样本的数量以及一系列其他属性。考虑到 blobs 的线性可分性质，该问题也适用于线性分类...

转自：https://www.kaggle.com/georsara1/light-gbm-solution-for-credit-fraud-detection kaggle上一篇不错的代码，最后有生成混淆矩阵图#Import modulesimport numpy as npimport pandas as pdimport seaborn as snsimport matplo...