mmm305658979的博客

一个简单的理解熵交叉熵相对熵 AKA KL散度JS散度熵随机事件的不确定性度量，也是衡量分布内样本所有要的信息编码长度，熵越大，不确定性越大。H(P)=ΣP(x)log1P(x)H(P) = ΣP(x)log\frac{1}{P(x)}H(P)=ΣP(x)logP(x)1​交叉熵用其他分布q衡量分布p内样本所需要的信息编码长度。H(P,Q) >= H§H(P,Q)=ΣP(x)log1Q(x)H(P,Q) = ΣP(x)log\frac{1}{Q(x)}H(P,Q)=ΣP(x)log

Z-score标准化　这是数据处理最常用的方法 * 目标：均值0，方差1h(x1) = (h(x1)-mean(h(X))/squareroot(sum of h(xi)*h(xi))标准化 (标准差置1) * 目标：标准差为1 * 需要方法: PCA * Tips: 图像不需要因为他们都是有界像素值，只需要中心化h(x1) = h(x1)/squa...

EM 一种聚类算法 为每个样本随机赋予类别。 计算每个类别的分布。 根据分布重新为每个样本分配类别。 根据迭代后的样本&类别计算分布，并一直迭代下去。 马尔可夫分支：1. 马尔可夫网 （判别式，无项有环图）：1）Gibbs（玻尔兹曼机） 2）CRF条件随机场 3）马尔可夫随机场2.1 动态贝叶斯 （生成式，有向无环图）：1）卡尔曼滤波 2）HMM 隐马...

θ thetaλ lambdaσ,Σ sigmaδ deltaε epsilonβ betaα aerfaγ gamaΠ pai

ROC曲线是根据在二分类时，设定不同的分类阈值得到的真阳性率（TPR）和伪阳性率（FPR)得到的。如图括号格式为（预测的标签，实际的标签）。(sensitivity) TPR=TP/(TP+FN)= (1,1)/((1,1)+(0,1))(1-specificity) FPR=FP/(FP+FN)= (1,0)/((1,0)+(0,0))F1 = 2TP/(2TP+FP+FN)...

通常如果分为训练集和测试集，则比例为7:3如果分为训练集、验证集和测试集，则比例为6:2:2.测试集不应该参与到模型选择与训练过程中，如果总集合分布规律，尽量打乱数据使得训练验证测试重分布均匀。增加数据会增大方差，减小偏差。当在验证集和训练集上损失函数都大时，对应曲线图左侧，与偏差有关，此时欠拟合。挡在训练集上损失函数很小，而在验证集上损失函数较大时（Jcv >...

支持向量机（SVM）是一组用于分类、回归和异常值检测的有监督学习方法。SVMs： LinearSVC, Linear SVR, SVC, Nu-SVC, SVR, Nu-SVR, OneClassSVM支持向量机的优点是：高维空间中的有效性。在维数大于样本数的情况下仍然有效。在决策函数中使用训练点的子集（称为支持向量），因此它也是内存有效的。多功能：可以为决策函数指定不同的内...

查准率(Precision)：所有诊断为患病（1）样本中实际为患病的比率。召回率(Recall)：所有患病样本中被发现并诊断为患病的比率。查准率 = TP/(TP+FP)召回率 = TP/P = TP/(TP+FN)敏感性 = TP/P =TP/(TP+FN)特异性 = TN/N = TN/(TN+FP)F1-Score = 2*Precision*Recall/(P...

one hot code: 独热码，有多少个状态就有多少个向量。因为假如某个特征有三种状态，由于特征值会影响训练，因此用0，1，2来代表三种状态是不合适的。内容排名推荐：Feed流推荐，相关推荐，TopN推荐，个性化推送https://blog.youkuaiyun.com/qq_40027052/article/details/78579587?reloadhttp://ww...

决策树：ID3 (Iterative Dichotomiser 3)： 基于信息增益（Info Gain），即为属性划分前后信息差（entropy 前-后），对应于python的参数"entropy"，偏向取值较多的特征。CART (Classification and Regression Tree)：基于基尼系数（Gini），表示在样本集合中一个样本被份错的概率，基尼系数越小越好，其他...

模型思想（为什么要正则）：众所周知，同样表现下模型参数值（自变量系数）越小越好，因为y = 214124x1 + 24421x2 + 3x3 这样的x有轻微变化都会引起y剧烈抖动，在高维情况更为明显。因此，在损失函数后加入正则可以减少这个问题从而防止过拟合。正则：L0 正则，NP-hard问题，e.g. 想让100个参数里只有10个参数不为0，那么哪10个呢？这就是个即使联立方程...

原文:https://www.cnblogs.com/lzllovesyl/p/5243370.html# -*- coding: utf-8 -*-"""Created on Wed Jul 25 15:41:48 2018@author: turnip"""#coding=utf-8from numpy import linalg as laimpor...