机器学习
关注
分享
扫一扫
daocaoren_
这个作者很懒，什么都没留下…
展开
-
机器学习——逻辑回归(Logistic Regression)
算法描述：Logistic Regression Algorithm初始化ω0{\omega _0}ω0For t=0,1,2,⋯t=0,1,2, \cdotst=0,1,2,⋯ 1.计算梯度方向： &n...原创 2019-07-23 16:12:57 · 150 阅读 · 0 评论 -
机器学习——多模型选择和融合的方法2(AdaBoost)
Adaptive Boost(AdaBoost)是一种融合模型，而与Blending不同的是，Blending是在得到gtg_tgt之后再进行融合，而AdaBoost是一边学习gtg_tgt，一边融合。那么在介绍AdaBoost之前，首先要看的一个算法模型——前向分步算法。那么，什么是前向分步算法？首先，考虑如下形式的加法模型，f(x)=∑m=1Mβmb(x;γm){\rm{f}}(x...原创 2019-09-06 16:37:26 · 1216 阅读 · 0 评论 -
机器学习——多模型选择和融合的方法(Validation & Blending & Bagging)
在学习Blending和Bagging之前，先来看一个衡量泛化误差的方法——偏差-方差分解(bias-variance decomposition)。一个机器学习模型的泛化误差主要由3个部分组成，即：偏差(bias)，方差(variance)和噪声(nosie)，泛化误差=bias + variance + noise若有一个数据集DDD，DDD中有一堆测试样本xxx，其对应的标签集为y...原创 2019-08-30 12:41:28 · 1119 阅读 · 0 评论 -
机器学习——SVM的回归形式(SVR)
岭回归(ridge regression)在前面的一篇博客(机器学习——线性回归(Linear Regression))中提到，线性回归的解析解如下，w=(XTX)−1XTyw = {({X^T}X)^{ - 1}}{X^T}yw=(XTX)−1XTy其中，X的维数为N×(d+1)N \times (d + 1)N×(d+1)。因为大多数情况下样本量(N)是远大于特征数(d)的，所以，XTX...原创 2019-08-26 21:46:23 · 5087 阅读 · 0 评论 -
机器学习——SVM(5 有关SVM的一些解释)
SVM是一种正则化模型对于上一篇所讲的Soft-Margin SVM有如下形式，minb,w,ξ12wTw+C⋅∑n=1Nξns.t.      yn(wTzn+b)≥1−ξn        &am...原创 2019-08-25 16:28:28 · 469 阅读 · 0 评论 -
机器学习——线性回归(Linear Regression)
算法描述：Linear Regression Algorithm1.输入特征集X和标签集y: X=[−−x1T−−−−x2T−−⋯−−xNT−−]N×(d+1)X = {\left[ {\begin{array}{} { - - x_1^T - - }\\ { - - x_2^T - - }\\ \cdots \\ { - - x_N^T - - } \end{a...原创 2019-07-23 14:29:01 · 256 阅读 · 0 评论 -
机器学习——感知器(PLA)
算法描述：Perceptron Learning AlgorithmFor t=0,1,2,⋯t=0,1,2, \cdotst=0,1,2,⋯ 1.找到错误的分类点(xn(t),yn(t))({x_n}(t),{y_n}(t))(xn(t),yn(t))： &n...原创 2019-07-23 13:20:14 · 282 阅读 · 0 评论 -
机器学习——基本表示法
数据集(特征集+标签集)这里的数据集表示为：特征集：x1=(x11,x12,⋯ ,x1d)Tx2=(x21,x22,⋯ ,x2d)T⋮xn=(xn1,xn2,⋯ ,xnd)T \begin{array}{}{x_1} = {\left( {{x_{11}},{x_{12}}, \cdots ,{x_{1d...原创 2019-07-23 12:13:27 · 427 阅读 · 0 评论 -
机器学习——SVM(4 Soft-Margin SVM)
Soft-Margin 的含义所谓的Hard-Margin,就是指所有的资料都要完全分开，即separable,这是SVM产生过拟合的原因之一(还有一个原因就是过于复杂的转换 Φ\PhiΦ)。所以引入Soft-Margin, 即不必让所有的资料都完全分开，让SVM容许一部分的错误分类点的存在，从而在一定程度上减少过拟合，即要在large margin 和错误分类点容忍度（noise toler...原创 2019-07-24 11:50:08 · 1203 阅读 · 0 评论 -
机器学习——SVM(3 Kernel SVM)
Kernel的概念Kernel = Transform + inner Product在SVM的对偶问题中，qn,m=ynymznTzm{q_{n,m}} = {y_n}{y_m}z_n^T{z_m}qn,m=ynymznTzm在计算内积znTzm(ϕ(xn)Tϕ(xm))z_n^T{z_m}(\phi {({x_n})^T}\phi ({x_m}))znTzm(ϕ(xn)Tϕ...原创 2019-07-24 10:48:04 · 433 阅读 · 0 评论 -
机器学习——SVM(2 对偶形式SVM)
为什么有对偶形式的SVM？当引入了特征转换之后，原有的SVM问题具有d~+1\tilde d + 1d~+1个变量，N个约束条件，但这里的d~+1\tilde d + 1d~+1是非常大的，需要优化非常多的参数变量，这造成了计算上的复杂性，那么这里的对偶形式的SVM就是为了移除对d~\tilde dd~的依赖。实际上，SVM的对偶形式并没有真正的移除对d~\tilde dd~的依赖(后面的Ke...原创 2019-07-24 10:19:00 · 874 阅读 · 0 评论 -
机器学习——SVM(1 原始形式SVM)
算法描述：Linear Hard-Margin SVM Algorithm1. Q=[00dT0d0d];p=0d+1;anT=yn[1xnT];cn=1Q = \left[ {\begin{array}{}0&{0_d^T}\\ {{0_d}}&{{0_d}} \end{array}} \right];p = {0_{d + 1}};a_n^T...原创 2019-07-23 22:33:34 · 598 阅读 · 0 评论 -
机器学习——正则化理论(Regularization Theory)
过拟合(overfitting)：产生的原因有：1.数据量(N):N越小，越容易overfit2.随机噪声(stochastic noise，σ2{\sigma ^{\rm{2}}}σ2 )： σ2{\sigma ^{\rm{2}}}σ2越大，越容易overfit3.确定噪声(deterministic noise，Qf{Q_f}Qf )： Qf{Q_f}Qf越大，越容易overfi...原创 2019-07-23 16:56:53 · 956 阅读 · 0 评论 -
EM算法详解
极大似然估计极大似然的本质是找出与样本分布最接近的概率分布模型，它是一种用样本来估计概率模型参数的方法。下面以二项分布和高斯分布为例。1.二项分布例如，进行抛硬币实验，十次抛硬币的结果是：正正反正正正反反正正正正反正正正反反正正正正反正正正反反正正假设p是每次抛硬币结果为正的概率，则，得到实验结果的概率是，P=pp(1−p)ppp(1−p)(1−p)pp =p7(1−p)3\...原创 2019-09-27 17:00:52 · 350 阅读 · 0 评论