lxk1990727-优快云博客

原创 Bias && Variance及相关的问题理解

基本思想：泛化和具体、欠拟合和过拟合最小二乘的Bias-Variance的分解假定我们有一个训练集合{(x_i, y_i)}，而且y_i = f(x_i) + e，其中e是满足以0为均值，delta为方法的正态分布；我们想找到一个函数h(x)，能够尽量近似地表示函数f(x)，那么我们的目的就是最小化sum{y - h(x)}，其中(x,y)不仅仅是训练集中的(x,y)，而且还包含那些未知的

2015-04-21 16:28:36 1204

原创字符串（集合）的全排列和子集

学过回溯法和分支限界法之后，觉得对递归有了很好地理解，但是真让写集合（字符串）的子集和全排列的code时，一时又感觉手足无措。全排列基本的想法：将字符串或集合的第一个元素固定，然后让其加上剩余串集合的子集。然后从第二位开始，跟第一个字符交换，然后再固定一个字符，加上剩余串的子集。交换的想法非常巧妙，然后利用递归的思想。基本的code如下：

2015-04-15 11:29:50 1033

原创支持向量机（SVM）

问题描述支持向量机,Support Vector Machine,简称为SVM，是目前数据挖掘领域中，应用最广的分类器之一。在一线性可分的数据集上，找到一个超平面，使得数据集的集合分割的间隔最大化。详细如图1。图1 SVM的目标

2014-10-24 20:35:03 618

原创线性回归（Linear Regression，LR）

问题描述线性回归的目标是针对一组特征和结果的数据集，找到特征与结果之间的线性关系；该方法的有个假设是数据集的输入与结果存在线性关系。数学抽象输入：数据的输入X={x1,x2,...,xn}，其中xi是具有d个特征的列向量，结果集y={y1,y2,...,yn}，其中yi是输入xi对应的结果。目标：构建目标函数，其中是一个1*d的行向量。可以理解为由一个1*d和d*1的矩阵相乘，得

2014-09-24 23:51:30 2514