NFMSR的博客

1. 线性回归模型：（M个样本，n个特征值，一个bias）矩阵化表现形式：注意这里采用的XW的向量表示形式，如果要采用W（T）X的形式X矩阵的向量表现形式就不一样了。其实机器学习的目的就是要求出最优的W参数值，因此我们需要用到损失函数。2.损失函数（cost）：  最小二乘法表示损失函数：      何为最小二乘法，其实很简单。我们有很多的给定点，这时候

SVM就是试图寻找能将训练样本区分开的最优划分超平面，直观上我们可以看出H3才是做好的，到样本两边距离相等且最大，，这里的最好是划分的超平面对训练样本的“容忍性”最好。。。在样本空间中，划分的超平面可以用如下方程来描述： W（T）x+b=0，其中，w位法向量，决定里超平面的方向，b为位移项，决定了超平面与原点的距离。我们这次使用的结果标签是y=-1,y=1，替换在logis

一、循环神经网络1. 主要用途：处理和预测序列数据。2. 区别：全连接神经网络和卷积神经网络，都是从输入层到隐含层再到输出层，层与层之间是全连接或者部分连接，但是每层之间的节点是无连接的。而循环神经网络的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。循环神经网络会记忆之前信息，并利用之前的信息影响后面结点的输出。3. 结构： 4. 前

从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界

Normal Equation是一种基础的最小二乘方法，本文将从线性代数的角度来分析Normal Equation（而不是从矩阵求导 matrix derivative 的角度）。很多作者（特别是智商比较高的）在推导公式的时候有意无意的忽略了思考过程，只留下漂亮的步骤。这让很多读者（比如说我）跟不上节奏，最后一头雾水。本文将从求解“貌似无解”的方程组入手，再讲讲投影（Projection）的使

CNN 卷积神经网络一.定义卷积神经网络（ConvolutionalNeural Network,CNN）是一种前馈神经网络，对于大型图像处理有出色表现。[1]它包括卷积层(convolutionallayer)和池化层(poolinglayer)。由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。CNN的基本结构包括两层，其一为特征提

激活函数的作用：将一个很大范围的实数，映射到一个很小的范围之内。为什么要用激活函数：激活函数的比较：Sigmod函数：公式：图像：优劣：Sigmoid 非线性激活函数，sigmoid函数输入一个实值的数，然后将其压缩到0~1的范围内。特别地，大的负数被映射成0，大的正数被映射成1。而现在sigmoid已经不怎么常用了，主要是因为它有两个缺点: