Neekity的博客

##LR推导 ## LR假设有数据集{(x1,t1),...,(xn,tn)}\left \{ (x_{1},t_{1}),...,(x_{n},t_{n}) \right \}{(x1​,t1​),...,(xn​,tn​)}Φn=Φ(xn)\Phi _{n}=\Phi \left ( x_{n}\right )Φn​=Φ(xn​) 其中Φ\PhiΦ是基函数y(Φ)=σ(wTΦ)y\le...

1. 首先我们要是决策距离最大化我们先来求点xxx到一个超平面f(x)=wTx+bf(x)=w^{T}x+bf(x)=wTx+b的距离：假设有一点xxx，垂直投影到超平面上对应点为x0x_{0}x0​, www是垂直于超平面的一个向量， γ\gammaγ为样本xxx到超平面的距离。易知x=x0+γw∣∣w∣∣x=x_{0}+\gamma \frac{w}{||w||}x=x0​+γ∣∣w∣...

从 机器学习面试必知：SVM和LR的关系 一文中,我们可以看到SVM相比于LR的优势在于能产生稀疏解。现在把SVM应用到回归问题中，同时保持它的稀疏性。在简单的线性回归模型中，我们最小化一个正则化的误差函数12∑n=1N(yn−tn)2+λ2∣∣w∣∣2\frac{1}{2}\sum_{n=1}^{N}(y_{n}-t_{n})^{2}+\frac{\lambda}{2}||w||^{2}21​...

多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中，例如决策树或者朴素贝叶斯，前者的建模过程时逐渐递进，每次都只有一个变量参与，这种机制含有抗多重共线性干扰的功能；后者假设变量之间是相互独立的。但对于回归算法来说，都要同时考虑多个预测因子，因此多重共线性不可避免。我们先来看共线性的原理，假设k个自变量的多元线性回归模型：y=θ0+θ1x1+...+θkxk=θTx+ϵy=\th...