guangyacyb的博客

逻辑回归属于对数线性模型，学习算法有改进的迭代尺度算法和拟牛顿法逻辑斯蒂分布设X是连续随机变量，若X服从逻辑斯蒂分布，是指X具有以下分布函数和密度函数：为位置参数（控制分布/密度函数坐标轴上位置），为形状参数（控制函数的形状），图形如下：分布函数是逻辑斯蒂函数，是S型曲线，以为中心对称：越小，曲线在中心的越陡。二项逻辑斯蒂回归模型是一种分类模型，...

论文XGBoost: A Scalable Tree Boosting System文档XGBoost DocumentationIntroduction to Boosted Trees可伸缩且灵活的梯度提升原理xgboost原理xgboost的原理没你想像的那么难xgboost入门与实战（原理篇）通俗、有逻辑的写一篇说下Xgboost的原理，...

原文：XGBoost Algorithm: Long May She Reign!这句话意思是XGBoost算法：她可能会长期统治。虽然现在有了lightGBM，但还是有必要学习下XGBoost 这一经典算法。以下是翻译内容：我仍然记得15年前我第一份工作的第一天。我刚完成我的毕业设计，加入了一个全球的投资银行做分析师。我上班第一天，我拉直我的领带，尝试回忆所有学过的知识。在此期间，我深深...

https://lightgbm.readthedocs.io/en/latest/Features.htmlhttps://github.com/microsoft/LightGBMhttps://zhuanlan.zhihu.com/p/25308051https://www.kaggle.com/cast42/lightgbm-model-explained-by-shaph...

翻译自：Introduction to Boosted TreesXGBoost 表示“极端梯度提升”，“梯度提升”源自于论文“Greedy Function Approximation: A Gradient Boosting Machine”这是一篇梯度提升书的教程。大部分内容基于Tianqi Chen（xgboost的作者）的文章these slides梯度提升树存在有一段时间了...

属于二分类的线性模型，输入为实例特征向量，输出为类别（正负1） 在特征空间用超平面将实例划分为两类，属于判别模型 利用梯度下降法对误分类的损失函数极小化，求得分离超平面 简单易实现，分原始形式和对偶形式 是神经网络和支持向量机的基础感知机模型...

基于贝叶斯定义和特征条件独立假设的分类方法 对给定数据集，先学习输入输出的联合分布，再基于此模型，对给定的x利用贝叶斯定理求后验概率最大的输出y 实现简单，学习和预测的效率高朴素贝叶斯法的学习与分类基本方法输入空间为的n维度向量集合，输出空间为 标记集合 y = 输入为特征向量，输出为类标记 X 是定义在输入空间的随机变量，Y 是定义在 输出空间的随机变量 ...

KNeighborsClassifier 分类器sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30, p=2, metric='minkowski', metric_params=None, n_jobs=None, **kwargs)[...

可用于分类与回归 输入为实例特征向量，输出为类别，可以是多分类 没有显示的学习过程，假设给定一个有监督的训练集，新的实例根据最近k个实例的类别多数表决决定属于哪一类 利用训练数据对特征空间划分 三要素：k值、距离度量、分类规则...

决策树 决策树是利用树的结构来决策（分类）的机器学习算法。通过判断每个非叶子节点的条件，将样本从根节点层层往下分类到不同的叶子节点中。决策树案例下图是一棵训练好的决策树：在这里，样本是贷款用户，用于决策的条件有“是否拥有房产”、“是否结婚”、“月收入是否大于4k”，通过这些条件判断，可以将用户区分为两类：“可以偿还” 和“不能偿还”。从图中可以看出，决策树属于“...

Ordinary Least Squares ( 普通最小二乘法 )线性回归 用系数  来拟合线性模型，来最小化观测得的数据集和线性模型估计值的均方误差。 所解决的问题在数学上的表达为：线性回归 将矩阵X，y 作为方法 fit 的参数，将拟合的系数  存放到coef_ 成员:>>> from sklearn import linear_model>&...

岭回归 通过对系数的大小施加惩罚来解决 普通最小二乘 的一些问题。 ridge coefficients ( 岭系数 ) 最小化一个带罚项的残差平方和，这里  是控制缩减量的复杂度参数:  值越大，缩减量越大, 因此系数变得对共线性变得更加鲁棒。（图中有10个系数，当alpha较大时，对系数大小的惩罚较大，所以系数分布在0附近；alpha较小时，则系数较发散。具体参考以下第一个示例...

问题1：ubuntu 虚拟机启动jupyter notebook后实体机win10浏览器无法访问jupyter notebook远程访问不了的问题解决问题2：jupyter notebook 按问题1处理后，直接启动报错：Name or service not knownUbuntu18.04安装Jupyter Notebook远程访问        ...

 Lasso 是估计稀疏系数的线性模型. 在某些场景下适用，因为它倾向于使用具有较少参数值的解决方案, 有效减少给定解所依赖的变量数. 为此，Lasso 及其变体是 compressed sensing ( 压缩感知领域 ) 的基础. 在某些条件下，它可以恢复精确的非零权重集(参见 Compressive sensing: tomography reconstruction with L1 pri...

logistic 回归，虽然名字里有 “回归” 二字，但实际上是解决分类问题的一类线性模型。在某些文献中，logistic 回归又被称作 logit 回归，maximum-entropy classification（MaxEnt，最大熵分类），或 log-linear classifier（对数线性分类器）。在这个模型中，用logistic function对单次试验（single trial）...

书籍：《线性代数》 《统计习方法》 《机器学习》 《模式识别》 《深度学习》要求：知识储备 对模型的热忱 发现问题的眼光 解决问题的精神从生活中思考问题：微信抢红包：多个红包是否缩小每个人金额方差 因如厕错过电梯：用模型分析电梯等待时间与最优如厕时间 使用购物app：推荐系统的搭建 看视频跳过片头片尾：深度学习自动检测片头，不需人工耗时耗力算法应用：面向用户，...