wenqiwenqi123的博客

首先介绍线性核函数的概念：就是没有核函数，用θ0+θ1*X1+θ2*X2+...θn*Xn进行分类。假设有数据有n个特征，m条数据：则当n很大，m很小的时候，用线性核函数。n很小，m很大的时候，用高斯核函数。选择高斯核函数的时候需要调整参数δ，如果δ的平方很大，那么你就有可能得到一个较大的误差、较低方差的分类器。但是如果σ 的平方很小，那么你就会有较大的方差，较低误差的分类器。 正常情况下就使用以...

本篇文章介绍SVM如何选择标记点，以及引入核函数后的损失函数。若是还没理解核函数及高斯核函数的同学可以看看上一篇：http://blog.youkuaiyun.com/wenqiwenqi123/article/details/79313876给定m个样本(x1,y1)、(x2,y2).....(xm,ym).最好的标记点选择就是把所有样本都当做标记点。将标记点记为l1、l2...

最近小小地研究了一下SVM，发现这个算法还是相当有意思，今天来给大家讲讲其原理。首先假设每个样本的特征值为X1、X2...到Xn，即有n个特征值。θ1、θ2、θ3...θn为对应权值。那么要将上图两类红色的X和白色的O分类的话，最简单的方法就是找到合适的权值，使得：当θ0+θ1*X1+θ2*X2+...θn*Xn>=0时 将样本分为第一类。当式子<0时，分为第二类。将该式拓展一下可以变...

众所周知PCA是有效的降维方法，当你的特征非常多维度非常大的时候，为了使机器学习的算法在计算或是训练的时候有更高的效率，通常会进行降维处理。将一个具有m个数据n维的数据降为k维的数据，方法如下：算出一个sigma矩阵，x（i）为n*1的矩阵，因此x(i)转置为1*n，因此sigma的形状为n*n。svd为奇异值分解函数，得到一个U矩阵，也为n*n矩阵。取U矩阵的前k列，与x相乘

最近在研究一些概率论的东西，今天说一说似然函数。常说的概率是指给定参数后，预测即将发生的事件的可能性。拿硬币这个例子来说，我们已知一枚均匀硬币的正反面概率分别是0.5，要预测抛两次硬币，硬币都朝上的概率：H代表Head，表示头朝上p(HH | pH = 0.5) = 0.5*0.5 = 0.25.这种写法其实有点误导，后面的这个p其实是作为参数存在的，而不是一个随机变量，因此不能算作是条件概率，更...

极大似然估计        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率

这篇博客主要介绍两个方面的东西，其实就是两个函数：1. learning_curve()：这个函数主要是用来判断（可视化）模型是否过拟合的，关于过拟合，就不多说了，具体可以看以前的博客：模型选择和改进 2. validation_curve()：这个函数主要是用来查看在参数不同的取值下模型的性能 下面通过代码例子来看下这两个函数： 一、learning_curve() 这个函数的官方API...

之前课程上讲了一下遗传算法，也用代码实现了。今天就顺手写一下文章总结一下好了。以下来自百度百科：遗传算法的基本运算过程如下：a)初始化：设置进化代数计数器t=0，设置最大进化代数T，随机生成M个个体作为初始群体P(0)。b)个体评价：计算群体P(t)中各个个体的适应度。c)选择运算:将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是立...