woahxy的博客

2.然后将框向某一个方向移动，将截取的图片内容进行分类和判断，移动的距离成为步长或者移动参数。1.定义一个图片截取框的固定形状，用这个框截取图中的一部分区域，判断里面是否有目标。白色区域就为识别到可能会出现文字的区域，并进行一些出来，出现太窄的区域考虑舍去。计算每个模块之后的正确率，从而在可以提升较大的模块多花时间和精力。2.字符分割与分类训练一个字符分类器自动将字符进行分割与分类。4.用更大的截取框重复123步骤，不断对图片进行检测。3.文字检测，文字分割和字符分类。1.读取照片中出现的文字。...

而梯度下降算法一般是运行一次就可通过查看cost函数来判断算法是否收敛，也可运用mini-batch函数对前一千个样本数据运用cost函数进行局部梯度下降来判断算法是否收敛。代价函数一般在收敛后会在某个值附近震荡，解决办法就是让a的值如上图所示，随着迭代次数的增加，a的值会不断减小，震荡幅度就越不明显。有点结合梯度下降和随机梯度下降算法的特点，当有合适的向量化参数时，运算速度将比随机梯度下降算法还快。mini-batch梯度下降算法采用随机梯度下降算法的思想，每次对b个数据进行更新。...

多元高斯模型对于不同特征之间的关系表示效果较好，但由于存在协方差矩阵，所以能适应的样本n的值较小，且要保证样本数量大于特征数量（m>>n）1.当正样本y=0很少而负样本y=1很多时（如飞机引擎异常），可以选择异常检测算法。当正样本和负样本都很多时选择监督学习算法（如垃圾邮件分类），因为有足够数量的正样本来进行训练。2.当样本特征经常变化且数量较少时，选择异常检测算法。设定一个值，当计算出的概率Px大于该值时就算是正常地，小于时就是不正常的。原始高斯模型和多元高斯模型的区别和选择（x为特征）...

协同过滤算法执行算法时，要观察大量的用户，观察其实际行为，得到更佳的评估值，从而更好地学习特征，这些学习好的特征又能被用来更好地进行预测和评估。推荐算法的实际应用，根据用户对电影的评分来预测某种类型用户为评分电影的分值。2.中间的式子代表了每部电影不同用户对它的评价代价函数。基于内容的推荐算法目标的特征都有，用这些特征描述量。如何从一部特定的电影中学习新特征的方法和公式。1.上面的式子代表了每位用户对所有电影的评价。1.根据已有的评分计算出每部电影的平均值U。特征学习能够自行学习所要使用的特征。...

把数据从二维降至一维三维到二维 找出最小投影误差的平面 线性回归和PCA之间的区别 1.左图是线性回归，距离是竖直的，用x来预测结果y2.右端是PCA，是垂直于线的，所有x样本都被平等对待 3.但线性回归和PCA都是为了寻找蓝线距离平方之和的最小值 PCA u代表维度坐标，z代表投影到维度上的点 矩阵U,S,DU矩阵和Z矩阵 Z矩阵是一个K行一列的的矩阵PCA过程1.进行均值归一化后，确保每一特征都是均值为0的任选特征缩放2.计算载体矩阵sigma （协方差矩阵） PCA所要做的就是将样本数据投影到一

聚类算法无监督学习：将无标签样本分为不同的两类或者多类，称为聚类算法K均值算法K均值算法是一个迭代算法，共两个步骤1.簇分配：遍历图中每个样本，根据每个样本点离那个聚类中心近，从而将该样本点分配给该聚类中心，一开始的聚类中心是随机生成的（也是最小化代价函数的过程）2.移动聚类中心 ：算出两簇点各自的均值位置，然后将聚类中心移动到各自的均值位置处。（也是选择u值最小化代价函数J）3.再次重复以上的两个步骤再次寻找新的聚类中心位置 C(i)代表当前的簇的序号，uk代表第k个聚类中心的位置 K均值的优化目标

SVM一种监督学习算法逻辑回归图像1.每一个（x,y）的代价函数都会对总的代价函数有影响 通过设置不同的兰达值，权衡要在多大程度上适应训练集（最小化A），去保证正则化参数足够小 在支持向量机的西塔转置x对应于不同结果的合理取值 让正则化参数C很大，这样西塔转置x就可以比较小了 支持向量机的距离（大间距分类器）当正则化参数C很大时，会得到紫红色的分界线。当正则化参数C不那么大时，会得到黑色的分界线（更合理）。支持向量机产生大间距的原因高斯核函数：有不同相似度度量的函数...

SVM一种监督学习算法逻辑回归图像1.每一个（x,y）的代价函数都会对总的代价函数有影响 通过设置不同的兰达值，权衡要在多大程度上适应训练集（最小化A），去保证正则化参数足够小 在支持向量机的西塔转置x对应于不同结果的合理取值 让正则化参数C很大，这样西塔转置x就可以比较小了 支持向量机的距离（大间距分类器）当正则化参数C很大时，会得到紫红色的分界线。当正则化参数C不那么大时，会得到黑色的分界线（更合理）。支持向量机产生大间距的原因高斯核函数：有不同相似度度量的函数1.这三个点称为标记，其作用是为了方便定义

训练误差会随着多项式的次数增加而下降，交叉验证误差会随着多项式的次数的增加先下降后上升1.如果训练误差很大，交叉验证误差也很大且约等于训练误差，则说明这是欠拟合的情况2.如果训练误差较小，交叉验证误差很大且远远大于训练误差，则说明这是过度拟合的情况。1.算法正则化可以有效防止过拟合的问题，正则化就是在代价方差函数之后添加一项，惩罚西塔参数，让西塔参数不至于过大2.当正则化参数很大时，正则化项对参数西塔的惩罚很大，会导致欠拟合的情况发生。3.当正则化参数较小时，正则化项对参数西塔几乎没有惩罚，会导致过度拟合的

一般用随机百分之七十的数据当作训练集，随机百分之三十的数据当作测试集 使用线性回归和平方差标准时测试误差的定义考虑分类问题使用逻辑回归时 计算出其在测试集中的性能从而选择最好的参数模型为了寻找最好的参数模型，要把数据分为训练集（60%），交叉验证集（20%），测试集 （20%），然后用验证集来选择模型，选择交叉验证误差最小的模型来当参数模型，这样就可以用测试集来估计所选模型的泛化误差了 训练误差、交叉验证误差和测试误差...

1.线性回归的参数是向量，神经网络中的参数是矩阵2.内容是取出矩阵中的参数并展开成向量得到梯度返回值上面命令为合并，合并为一个很长的向量，下面命令为取出，取出为矩阵西塔为矩阵，使用矩阵储存参数可以使前向传播和反向传播更加方便，更容易充分利用和向量化实现。以上为让参数在矩阵和向量这两种形式之间完成转换 代价函数的双侧差分近似等于单价函数在该点的导数值 DVec为用反向传播算法计算出的导数DVec，如果两者相近，则可以验证反向传播的实现是正确的再用反向传播算法训练样本时要关闭梯度检验，否则程序执行很很慢。当用

(xi,Yi)：代表事件L：代表层数Sl:代表每层的个数左边是两类分类，右边是多类分类 1.加号之后那项是正则化的项，上面的是两类分类的线性回归公式，下面的是多类分类的项。算法的关键是找到参数西塔使得代价函数J（西塔）取得最小值，主要任务是计算偏导项 a(1)为第一层的激活值，假设为xg是一个sigmoid激活函数，可以计算隐藏层的激活值a0（2）是添加的偏置项 第一层没有误差项，误差项从最后一层往前计算，l层第j个单元的误差项，误差项也可以是向量反向传播算法和前向传播算法过程比较类似，只是方向不同

x1 XOR x2 表示当这两个值恰好其中一个等于1时这个式子成真为1x1 XNOR x2 表示当这两个值恰好其中一个等于1时这个式子成真的相反，为0，要都不成真 AND是逻辑与的意思+1为偏置单元，为x0逻辑或的参数西塔的取值 逻辑非的神经网络参数西塔取值 逻辑异或的神经网络算法，只有输入相同时才输出1，否则输出0。 用一个四维向量输出结果来完成图像识别功能 x代表图片，y代表输出的是0或者1，x和y维数相同...

logistic回归函数：logistic函数的弊端：对于特征较多的函数，如果运用logistic函数，其平方项和立方项数量是过大，导致计算量会过大。第一层称为输入层，最后一层称为输出层，中间层或其他层称为隐藏层wai(j)代表第j层第i个神经元的激活项，激活项是指由一个具体神经元计算并输出的值西塔（j）为权重矩阵，控制从某一层到下一层的映射，如图中的箭头神经网络计算公式 神经网络的前向传播示意图 神经网络构架图...

正则化下的代价函数正则化下的梯度下降算法用octave编码

没看懂

正则化思想：为了避免过度拟合，可以使高阶项系数变得非常小，具体做法是在利用梯度下降法求解参数时，如上图所示，为使快速收敛，可以对高阶项系数增加惩罚项，因为1000很大，那么参数西塔必须变得非常小。一般只对非常数项系数进行正则化当惩罚过大时，会使得参数西塔过小，那么特征化就不明显 ，那么拟合函数就类似于常数项，就像一条水平直线，无法体现特征，不能很好地拟合参数，具有较大偏差。...

当有多类别时，目标类为一类，其余类为一类，构建目标类的函数将x的值带入到不同的目标类函数中，最大的一类就是x所对应于的目标类的函数，概率值最高

Flag=1代表以及收敛

讲真我没听懂

边界函数不属于数据集的属性，训练集不是用来决定决策边界，而是用来拟合参数西塔参数西塔不同，那么决策边界也会不同

分类算法预测在参数为西塔的情况下变量为x时y为0或者1的概率

用正规方程法求西塔不用进行特征缩放，若用梯度下降法则需要进行特征缩放。梯度下降法（左边）和正规方程法（右边）的优缺点及选择要领：1.梯度下降法需要选择学习因子a，需要进过很多次迭代，而正规方程法不需要学习因子a以及不需要进行多次迭代，一般来说正规方程法的速度要比梯度下降法要快。2.当特征向量n很大时，正规方程法会较慢，此时应该选择梯度下降法。当n较小时，可以选择正规方程法获得一个快的收敛速度。...

特征缩放：当不同参数之间的值相差过大时，代价函数的形状会太长或者太扁。为了让参数除以一个合适的值使得参数位-1到1之间从而让代价函数更圆，下降更快均一化标准处理：x1：参数的值u1：参数的平均值s1：参数的取值范围（也可以用最大值减去最小值）...

考虑多个变量的线性回归

vector----向量matrix----矩阵column----列row----行element----元素dimensional----维度scalar----标量real number----实数

以两个参数x,y为例,步骤如下：1.给定x和y的初始值，通常设为0；2.不停地改变x和y的值，使回归函数J（x,y）变小，直到求出最小值或者局部最小值。就是从起点出发，沿着最快的路径下降到最低点。1.a表示学习率，代表梯度下降的速度，a说明下降的速度越快；同时a也控制着我们以多大的幅度更新参数x和y2.a右边的是导数项,代表斜率。3.x和y需要同步更新，若先更新x，则更新y时会使用新的x1. 当起始点位于右边时，导函数为正值，x减去一个正数从而变小慢慢趋向中间低.

机器学习的两大算法：监督学习和非监督学习：1.监督学习：我们给数据集让程序进行模拟2.非监督学习：1.监督学习：给出分类的标准让程序对数据集进行分类，可能会使用无穷多的特征来进行拟合。对于数据集中的每个样本，若想通过算法预测并得到解决问题的正确答案。这要通过思考回归问题（regression problem）和分类问题，回归是指我们的目标，是预测一个连续值输出；思考分类问题(classification problem)的目的是预测离散值输出。2.非监督学习（unsupervised