MiaLove

文献中bias和varience常常出现，特别做一次对比分析：联想记忆bias短，对应下图的直线长度也短，就是欠拟合，也就是偏差太高。variance长，对应下图的曲线长度特别长，就是过拟合，也就是方差太高。引用文献中的一句话：Random Forests results in a greater tree diversity ,which trades ahigher bia...

penalty : str, 'l1' or 'l2', default: 'l2' Used to specify the norm used in the penalization. The 'newton-cg', 'sag' and 'lbfgs' solvers support only l2 penalties. .. versionadded:: 0.19...

scikit-learn 官方文档翻译学习1.5.7 数学公式给定一组训练实例(x1,y1),⋅⋅⋅,(xn,yn),(x_1,y_1),\cdot\cdot\cdot,(x_n,y_n),(x1​,y1​),⋅⋅⋅,(xn​,yn​),其中xi∈Rmx_i \in R^mxi​∈Rm，和yi∈{−1,1}y_i \in \{-1,1\}yi​∈{−1,1},需要学习目标函数f(x)=wTx+...

从实例理解正则化参数α\alphaα机器学习三要素之一：策略（代价函数）：通过最小化训练误差来学得最佳参数w,bw,bw,b:E(w,b)=1n∑i=1nL(yi,f(xi))+αR(w)E(w,b)=\frac{1}{n}\sum_{i=1}^{n}L(y_i,f(x_i))+\alpha R(w)E(w,b)=n1​i=1∑n​L(yi​,f(xi​))+αR(w)其中LLL是经验损失函...

原始数据分布：StandardScaler:通过减去均值，除以标准差。异常数据对均值和方差的影响很大，会导致特征数据范围缩小 z=(x−u)sz = \frac{(x - u)}{ s}z=s(x−u)​MinMaxScaler将所有数据归一化到[0,1]区间内，但是由于异常值的影响，特征数据的分布范围变得很窄。与standardscalar一样，对异常值铭感Xstd=(X−X.mi...

tensorflow2.0提示错误：module 'tensorflow' has no attribute 'placeholder'解决办法：不要使用：import tensorflow as tf替换为：import tensorflow.compat.v1 as tftf.disable_v2_behavior()tensorflow的新变化，后续查到具体的文档，再补...

三种概率密度分布的表示形式(1)MLP:θ^MLE=argmaxP(X;θ)MLP:\hat \theta_{MLE}=argmaxP(X;\theta ) \tag 1MLP:θ^MLE​=argmaxP(X;θ)(1)(2)MAP:θ^MAP=argmaxP(X∣θ)MAP: \hat \theta_{MAP} = argmaxP(X|\theta) \tag 2MAP:θ^MAP​=argm...

池化操作相当于增加了一个无限强的先验？

常用核函数核函数作用低维空间（输入空间）线性不可分时，实现向高维空间的映射，从而实现线性可分：示例代码以下代码更改自sklearn官方例子，调用了线性、多项式、高斯核函数，自定义了线性核函数，示例如下：import numpy as np import matplotlib.pyplot as plt from sklearn import svm, datasetsd...

常用分类算法的优缺点算法优点缺点Bayes 贝叶斯分类法1）所需估计的参数少，对于缺失数据不敏感。2）有着坚实的数学基础，以及稳定的分类效率。1）需要假设属性之间相互独立，这往往并不成立。（喜欢吃番茄、鸡蛋，却不喜欢吃番茄炒蛋）。2）需要知道先验概率。3）分类决策存在错误率。Decision Tree决策树1）不需要任何领域知识或参数假设。2）适合高维数据。3）...

L1正则化为什么可以使模型参数具有稀疏性？参数稀疏性的意义稀疏性就是很多参数为0的情况，对于维度很高的模型，稀疏性意味着抓住主要矛盾，可以提升模型的泛化性能。为什么L1正则化与L2正则化相比，具有稀疏性？L1正则化与L2正则化L1正则化：W∗=argmin∑j(t(Xj)−∑iwihi(Xi))2+λ∑i=1k∣wi∣W^*=argmin\sum_j(t(X_j)-\sum_iw_ih...

ReLU——Rectified Linear Unit (整流线性单元)ReLU(x)=max(0,x)ReLU(x)=max(0,x)ReLU(x)=max(0,x)ELUELU(x)={x;x≥0a(ex−1);x<0 ELU(x)=\left\{\begin{aligned}x ; x\geq0 \\a(e^x-1);x<0\end{aligne...

二分类的损失函数

混淆矩阵——灵敏性和特异性理解定义灵敏度Sensitivity=TPTP+FN灵敏度Sensitivity=\frac{TP}{TP+FN}灵敏度Sensitivity=TP+FNTP​特异性Specificity=TNTN+FP特异性Specificity=\frac{TN}{TN+FP}特异性Specificity=TN+FPTN​案例假设一共有100，000名患者，其中患有恶性肿瘤...

深入理解LSTM/GRU

为什么向量化可以大幅度加快速度？仿照吴恩达老师课堂中的示例：import numpy as npimport timea = np.random.rand(1000000)b = np.random.rand(1000000)tic = time.time()c1 = np.dot(a,b)toc = time.time()print(c1)print("Vectorrize...

简明理解AdaBoost算法从案例理解AdaBoost(转载自李航《统计学习方法》,有删减)，使用AdaBoost算法学习如下训练数据，弱分类器采用sign()函数。x123456789y111-1-1-1111解：初始化数据权值分布，即m=0m=0m=0D1=(w11,w12,...,w110)D_1=(w_{11},w_{1...

极大似然估计理解后记：作为学过数理统计的资深学渣，极大似然估计仅仅只有一点点模糊印象了。翻翻资料，复习一下，做一篇学习笔记。

名词理解：联合分布、边缘分布、经验分布给定一个训练数据集T={(x1,y1),(x2,y2),...(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...(xN​,yN​)}可以确定联合分布P(x,y)P(x,y)P(x,y)的经验分布P~(X,Y)\tildeP(X,Y)P~(X,Y)P~(X=x,Y...

拉格朗日乘数法简介机器学习的本质是建立模型，使用损失函数对模型的性能进行度量。实现损失函数最小化（优化问题），是一切机器学习的关键。通常对于无约束优化问题，采用梯度下降法、牛顿法/拟牛顿法，对于有约束优化问题，拉格朗日方法应用广泛，是机器学习的理论基础，是理解最优化问题的关键。拉格朗日方法何时有用？拉格朗日乘数最常见的应用是找到函数的最大值或最小值（“极值”，即最优化问题），通常会有限制条件...

分析ROC/AUC

星号*上角标含义西瓜书：(w∗,b∗)=argmax(w,b)∑i=1m(f(xi)−yi)2(w^*,b^*)=\underset{(w,b)}{argmax}\sum_{i=1}^m(f(x_i)-y_i)^2 (w∗,b∗)=(w,b)argmax​i=1∑m​(f(xi​)−yi​)2含义是：使表达式取最小值时，对应的w,bw,bw,b的取值。李航《统计学习方法》：d∗=maxα,β...

文章目录"朴素"由来优缺点分析"朴素"由来朴素贝叶斯（Naive Bayes）方法是一组监督学习算法，它基于贝叶斯定理，“天真地”“朴素”地假设特征之间互相独立，即一个特征的存在与其他特征的存在无关。这也是“朴素”“Naive”一词的缘由。贝叶斯定律及案例：https://blog.youkuaiyun.com/houhuipeng/article/details/90706539样本E=(x1,x2...

Sklearn 实现 LogisticRegression详细分析

生成模型和判别模型

决策树常用算法——ID3、C4.5、CART比较分析基本认识名称英文全称中文特征ID3Iterative Dichotomiser 3迭代二分器3最大信息增益C4.5（未找到英文）/最大信息增益比CARTClassification And Regression Tree分类和回归树最小基尼指数ID3：信息增益反应了给定条件后，不确...

在学习《hands on maching learning with sklearn&tensorflow》中，第六章提高基尼不纯净度（gini impurity）和信息熵。gini impurity：Gi=1−∑k=1nppi,k2G_i=1-\sum_{k=1}^{n}p_{p_i,k}^2Gi​=1−k=1∑n​ppi​,k2​转载博客：https://tech.youzan...

混淆矩阵（Confusion Matrix）百度百科：混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。看完混淆矩阵中的TN，TP，FN，FP以及召回率、精度的表达式，有点糊涂。参考了若干张混淆矩阵图，制作一张“精良”图示：（混淆矩阵在不同的资料中，表示略有差异）注：根据预测情况和真实情况的对比，把全体样本分布到四个象限内；每个象限的名称，如TP...

erf() in Pytorchtorch.erf(tensor, out=None)Computes the error function of each element. The error function is defined as follows:erf(x)=2π∫0xe−t2dterf(x)=\frac{2}{\pi}\int_0^xe^{-t^2}dterf(x)=π2​∫0...