真男人从不回头看进球

参考《机器学习实战》 首先给出k均值算法 输入：样本集            聚类簇数k 过程： 从D中随机选择k个样本作为初始均值向量 repeat     令     for j = 1, 2, ..., m do         计算样本与各均值向量的距离：         根据距离最近的均值向量确定的簇标记：         将样本划入相应的簇：     end f...

参考《机器学习实战》，使用MNIST数据集 首先给出PCA的算法 输入：样本集             低维空间维数 d‘ 过程： 对所有样本进行中心化： 计算样本的协方差矩阵 对协方差矩阵做特征值分解 取最大的d'个特征值所对应的特征向量 输出：投影矩阵 # -*- coding: utf-8 -*- """ Created on Sun Jul 22 15:38:03 20...

首先介绍一下Logistic函数 形状呢是一个S形 那么对一个二分类问题，考虑线性回归函数，我们可以用Logistic函数将z转换为0, 1值，这样就得到了Logistic回归模型 那么接下来需要确定式中的w和b。通过极大似然法来估计w和b，给定数据集，Logistic回归模型最大化对数似然（log-likehood） 其中的似然项 将似然项代入对数似然，并且最大化对...

MDS是一种降维方法，目标是降维后任意两个样本在低维空间中的欧式距离与原始空间中的相等。 令降维后样本的内积矩阵，有 通过上面的式子可以得出 由上面四个式子可以解得， 对B做特征值分解，，得 接下来上代码，采用的数据集是美国部分城市主要城市间距离。由于地球表面是球形，所以可以看作一个三维空间，降维后就是类似地图上的位置。 from numpy impor...

LDA方法的主要思想是，将空间中的样本点投影到一个超平面上，令同一类的样本点之间距离相对近，不同类的样本点之间距离相对远。 需要最大化，其中w是超平面的“斜率”（也就是我们要求的变量），S_B是组间方差，S_w是类内方差 解得之后对下式进行特征值分解 下面上代码。采用的是iris数据集。 from sklearn import datasets import numpy as...

拉普拉斯特征图是一种流形降维方法。主要分为四个步骤 1、邻接图的构建。可以通过KNN或半径法来确定邻居样本点。对每个邻居样本点都连接一条边 2、选定边的权值。可以通过heat kernel法（）确定，也可以直接设为1 3、特征值分解 D是对角权值矩阵， 4、低维嵌入 L就是拉普拉斯矩阵，L = D - W 对其进行特征值分解，假设降到d'维，将分解后的特征值排序，第一个特征值应该...