tostq的专栏

【机器学习算法笔记】0. 机器学习算法分类0.1 凸优化问题凸优化是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。其中，目标函数为凸函数且定义域为凸集的优化问题称为无约束凸优化问题。而目标函数和不等式约束函数均为凸函数，且定义域为凸集的优化问题为约束优化问题。 凸优化问题的特性：1、凸问题的局部最优解就是全局最优解。2、许多非凸问题通过一定的手段可以化归为凸问题。3、

【机器学习算法笔记】1. 回归器模型回归算法是试图采用对误差的衡量来探索变量之间的关系的一类算法。回归算法是统计机器学习的利器。常见的回归算法包括：最小二乘法（线性回归），逻辑回归，逐步式回归，多元自适应回归样条等。1.1 线性回归器所谓线性回归：对于一组输入值X=[x1,x2,…,xn]，存在输出y，为了代表输入与输出的函数关系，假定输出估计 线性回归器所要求的问题： 一元线性回归

【机器学习算法笔记】2. 学习算法与最小均方算法（LMS）最小均方算法是一个非常流行的在线学习算法。其是建立在自适应滤波和自适应调整权重上的。2.1 迭代下降思想三种以迭代下降思想为基础的无约束最优化方法：2.1.1 最速下降法：在最速下降法中，对权值向量的调整是在最速下降的方向进行的，即它是与梯度向量方向相反的，梯度向量记为： 最速下降法一般表示为： 其原理是根据一阶泰勒展开式：

【机器学习算法笔记】3. 核方法和径向基（RBF网络）在涉及非线性可分模式分类中，多层感知器是通过神经元的非线性来达到的，这个非线性主要是通过使用Sigmoid函数来获得的。 这一节介绍另一种通过混合方式来解决非线性可分模式问题： 1、将给定非线性集合转换为线性集合 2、通过最小二乘估计来解决线性分类问题。 这个两段方法被称为核方法。3.1 核方法核方法的原理（模式可分性的Cover定理）：

【机器学习算法笔记】4. 支持向量机（SVM）给定训练样本，支持向量机建立一个超平面作为决策曲面，使得正例和反例之间的隔离边缘最大化4.1 线性模型考虑到用于分离超平面的决策曲面： x到超平面的距离： 现在我们考虑到要寻找一个超平面，使得全体x到超平面的距离都大于1：（这里d=1或-1） （这里可以看出，d取1或-1和d取2或-2是一样，在是用于分割超平面的两半） 并且满足

【机器学习算法笔记】5. 自组织映射SOM自组织映射是一类非监督学习算法 自组织原则：1、自增强：如果两个神经元是同时激活的，则突触强度会选择性地增强；如果是异步激活的，突触强度会减弱2、竞争原则：可用资源的局限使得最强健增长的突触是以其他神经元作为代价的3、协作：在神经元级别中，对突触权值的修改趋于互相合作。4、结构化信息：在一个输入信号中存在的潜在次序和结构代表了冗余信息，其通过自组织

【机器学习算法笔记】6. 降维与主分量分析（PCA）6.1 PCA算法特征选择问题是指将数据空间变换到特征空间，我们希望设计一种变换使得数据集由维数较少的有效特征来表示。 PCA是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中表示，并期望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 通俗的理解，如果把所有的点都映射到一