吴恩达机器学习——优化算法（高级算法使用+多类别分类）

 

其他算法

Conjugate descent

BFGS

L-BFGS

特点：

不需要手动计算学习率

比梯度下降效率更高

缺点：

更加的复杂

 

如何调度高级算法优化代价函数

Matlab实现方法

实例：

假设已知代价函数，我们通过代价函数求得了偏导数

首先，完成代价函数的实现（代码如下）

function [jVal,gradient] = costFunction(theta)

jVal = (theta(1)-5)^2+(theta(2)-5)^2;

gradient = zeros(2,1);

gradient(1) = 2*(theta(1)-5);

gradient(2) = 2*(theta(2)-5);

 

这些内容是对上述关系式的实现

 

调用高级算法求代价函数

 

options = optimset('GradObj','on','MaxIter',100);

第一个参数为GradObj:on意为设置目标参数为打开，意为要给该算法设置一个梯度

第二个参数为MaxLter:100意为最大迭代次数为100

 

initialTheta = zeros(2,1);

θ初始值

 

 [optTheta,functionVal,exitFlag] = fminunc(@costFunction,initialTheta,options);

Fminunc是一个高级算法，第一个参数为代价函数，无需设置学校效率，该算法会自动计算出相应的学习效率。

 

计算结果如下：

OptTheta为最终计算得到的theta的结果，exitflag=1表示结果为收敛的，同样functionVal表示最终的代价函数的值。

 

 

通用格式：

注意在用matlab实现的时候是从1到n+1因为在matlab中数组是从下标1开始计数。

 

 

 

 

多类数据分类图形

 

1、创建伪类

首先是针对为三角形的类别

将为三角形的y设置为1，不为三角形的样本设置为0

这样，我们就可以将为三角形的边界得到（如下图）

 

 

同样的方法应对于正方形和叉叉，然后得到分类的边界线

 

通过这种方式，我们得到三个分类器

 

最终，我们把样本最可能为的值在三种类型中，归纳出来