qsdzxp的博客

1. 代价函数  K-means算法是比较容易理解的，它属于无监督学习方法，所以训练样本数据不再含有标签。我们假设有样本数据x(1),x(2),⋯,x(m)x(1),x(2),⋯,x(m)x^{(1)},x^{(2)},\cdots,x^{(m)}，我们选择设置KKK个聚类中心u1,u2,⋯,uKu1,u2,⋯,uKu_1,u_2,\cdots,u_K，K-means算法的代价函数表达式如下 ...

1. 用交叉验证来选取模型  假设模型要在10个不同阶次的二次型之间选取，主要有几个要点：（1）在训练集和测试集之外再增加交叉验证集（2）使用训练集训练模型（3）使用交叉验证机确定模型（4）使用训练集评价模型 数据分集：将60%的数据作为训练集，20%作为交叉验证集，剩下的20%作为测试集 训练模型：使用训练集训练出10个模型 确定模型：使用交叉验证集分别对10个模...

1. 线性svm1.1 代价函数  吴恩达的svm课程中由logisitic回归讲起，将logistic回归中的代价函数转换成图中的形式。刚开始的时候我自己很疑惑这个地方：为什么代价函数要变成这个样子又为什么代价为零的地方要是z=1和−1z=1和−1z=1和-1,不是z=2,3,4……z=2,3,4……z=2,3,4……  直到好好研究了一番svm的几何意义才明白这样做的意义...

  正则化这个问题是比较好理解的。1. 理解机器学习的目标机器学习的目标是应用，拟合或分类训练数据只是一个学习的过程。我们的目标是训练得到的模型在应用的过程中能够比较好的泛化，所以在训练的过程中，我们需要追求一个中庸的状态，这可能不单单是机器学习的问题，而是一个比较普遍的道理。中庸就意味着差不多，意味着既不要过于精确，也不要误差过大。  图中最左侧为欠拟合，即误差过大。最右...

1. 向量内积  向量内积除了我们常用的坐标表示的计算方法之外，还有另外一种不太常见用向量的二范数计算的方法。假设有向量u⃗ ,vu→,v\vec{u},v之间的夹角为θθ\theta，那么u⃗ Tv=||u⃗ ||||v⃗ ||cos(θ)u→Tv=||u→||||v→||cos(θ)\vec{u}^{T}v=||\vec{u}||||\vec{v}|...

  写篇文章把自己对矩阵乘法的理解记录一下，有不对的地方欢迎指正。1. 矩阵的列  在多数情况下，提到一维向量我们都会说列向量，为什么这么说呢，其实这里是有原因的。...

  由于硕士期间上过这门课，对神经网络已经很熟了，一些细枝末节就不从头说了。这篇文章只记录我的知识水平之上的一些要点。先祭出两篇大牛文章：1.神经网络结构...

1.维度相关.ndim ：维度 .shape ：各维度的尺度 （2，5） .size ：元素的个数 10 .itemsize ：每个元素的大小，以字节为单位 reshape()>>> np.zeros([2,3])array([[ 0., 0.,

   logitstic回归适用于分类问题二元分类

hθ(x)=θ0+θ1xhθ(x)=θ0+θ1xh_{\theta}(x)=\theta_{0}+\theta_{1}x J(θ0,θ1)=12m∑i=1m(hθx(i)−y(i))2J(θ0,θ1)=12m∑i=1m(hθx(i)−y(i))2J(\theta_{0},\theta_{1}) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta x^{(i)}-y^...

初识机器学习      &amp

1.数据降维  数据降维的动力主要来自数据压缩和数据可视化。下图中的数据虽然是在一个三维空间里，但是用一个二维的平面基本上就是可以描述出来的，所以我们可以把数据降到二维。 2.PCA算法第一步是均值归一化。我们需要计算出所有特征的均值，然后令 。如果特征是在不同的数量级上，我们还需要将其除以标准差 。 第二步是计算协方差矩阵（covariance matrix）： 第三步是计算...