JoJo's blog

一、条件概率设有A、B两个事件，已知事件A发生的情况，事件B发生的概率称为条件概率：$P(B|A) = P(AB) / P(A)$　　P(AB)是AB两种事件同时发生的概率：$P(AB) = P(A) * P(B|A) = P(B) * P(A|B)$　　所以条件概率公式计算如下，如果AB没有交集，那么条件概率为0：$P(A|B) = P(A) * P(B|A) / P(B)$二、全...

LR推导1. 公式推导机器学习-LR推导及与SVM的区别2. 正则化L1范数：是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lasso regularization）。一个关键原因在于它能实现 特征的自动选择。一般来说，大部分特征 xi和输出 yi之间并没有多大关系。在最小化目标函数的时候考虑到这些额外的特征 xi，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用...

参考：知乎-特征工程是什么1、特征工程概念“数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。**特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。**特征工程能使得模型的性能得到提升，有时甚至在简单的模型上也能取得不错的效果。　　 特征工程在机器学习中占有非常重要的作用，一...

性能评估指标1. 分类算法的性能评估指标1.1 精确率与召回率1.2 F1-score1.3 AUC与ROC1.3.1 ROC曲线1.3.2 AUC值1.3.3 为什么使用ROC和AUC2. 回归算法的性能评估指标2.1 平均绝对误差（MAE）2.2 平均平方误差（MSE）2.3 均方根误差（RMSE）2.4 决定系数（R2 score）2.5 交叉验证（cross-validation）机器学...