xiao_ling_yun的博客

模型修正和模型修正能力，具体是什么？包含哪些具体的内容？

传统机器学习中的聚类算法——总集篇，描述了层次、划分、密度、网格、模型5种聚类算法，并附带了简单描述和相关经典算法。后续会针对不同类型聚类算法撰写博客

LightGBM相较于XGBoost的优势，以及各优势如何实现，实现的具体表现是什么。主要包含XGB的缺陷，LightGBM的优势，以及LightGBM中基于直方图的决策树最优分割点选取 + Leaf-wise叶子节点生成策略。

​越是离散的特征、越是非线性模型，其建模能力越强，泛化性也就越强。那么连续型特征在离散化后的具体优势在哪里呢

数据挖掘中白化处理的作用和具体操作，以及白化在NLP、多模态领域的妙用

回归模型中的多重共线性 + 危害 + 原因 + 判断标准 + 解决办法，以及相关概念

L1和L2正则化的适用范围；L1为何比L2更容易获得稀疏解

XGBOOST 与 GBDT同源，G/梯度是什么意思？GB/梯度提升又代表什么

本节主要是学习一些机器学习中常见的概念和内容。1. LR（逻辑回归）：本质上是一个分类算法，多用于2分类，也用于多分类。是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。这种可能性并非是概率，而是一种有限的带有明确定义的离散值。(1) 逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y

投字节提前批算法岗，简历都没有过。。确实菜的抠脚，没办法只能继续复习了！这一次主要学习(1) ROC曲线的意义以及制作方法；(2) AUC面积的意义；(3)优化算法SGD，Momentum，AdaGrad，RMSProp，Adam的公式/特点/优缺；(4) 简单了解Bagging和Boosting机制以及他们与偏差、方差的关系。1. ROC曲线的制作方法及意义（图是从博客一里面直接抄过来的，但是图原本也是别人的。。。很尴尬）首先复习下基础知识：召回率(recall) or 敏感度(sens.

1. 批量归一化（BN）(1) 一般来说在CV深度学习模型训练中，我们是要在卷积层后加入BN层的，原因来于Feature map在经过卷积层后，特征分布可能会有变化，BN就是为了解决这个问题加入的，它使得feature map的分布重新归于均值0和方差1，但是一般的归一化就是分子减去均值，分母是方差的开跟，这有一个严重的问题，见(2)。(2) 如果对feature map使用单纯的归一化操作，就可能发生，网络中间某一层学习到特征数据本身就分布在S型激活函数的两侧，归一化强制把标准差限制在了1，把数据

这里是不可能一点点推公式（因为太麻烦了- -，后续可能会补），只介绍大体的定义概念以及个人理解。

本章节，单独开一章，为了学习机器学习、深度学习中过拟合的解决方案以及其中细节和原因。1. 在视觉任务重，很自然可以联想到数据增强 or 增加数据量2. L1正则化：获得具有稀疏性的权重/参数，能够用于特征选择，即特征工程，筛选组合得到更高质量的特征。一般情况下，线性回归损失函数如右图所示：首先要理解，认真的讲，0范数（L0范数是指向量中非0的元素的个数）和1范数都能求得稀疏解，但是因为低1范数的都不是凸的，所以L0范数很难优化求解（NP难问题，L0为一个0-1跃阶函数），NP难我也不太懂，反