吴恩达机器学习私人总结（2）

octave教程和MATLAB类似。
octave:11> PS1('>> '）更改提示符

格式化输出：
disp(sprintf('6 decimals: %0.6f', a))

对矩阵A扩充一列
A = [A, [100; 101; 102]]

矩阵A合并为一列：
A(:)

矩阵求伪逆：https://blog.youkuaiyun.com/yinyu19950811/article/details/61420131
pinv（A）

构造10000个随机数，绘制分布图
w=randn(1,10000);
hist(w,50)

加载数据：
load featuresX.dat/mat
whos显示数据。
size(A)计算大小，length计算长度

单位矩阵和逆矩阵
eye(3)
flipud(eye(3))

路径转换：
addpath('xx');

使用矩阵做运算比传统的用循环速度快而且代码短。
分类问题强烈不建议使用回归方式完成。
使用sigmoid回归函数用于分类问题，它实际是一个分类算法。

分类方案中采用的函数考虑线性和非线性的情况：

在使用梯度下降法进行过程中，为了减少可能进行局部最小采用的代价函数变化情况（二分类）：

 

除梯度下降法的其它方案：更有效但是更复杂。

使用Octave运行，自定义好代价函数并让其返回代价函数公式和代价函数每个梯度，自定义options，自定义初始化Theta，使用函数fminunc进行计算。

得到最终的结果。返回了目标theta，达到的最小误差，exitFlag表示成功（Converged to a solution point.）。

 

 在针对大于2分类情况，使用分割，将多分类转化为二分类。如三分类，转化为3个2分类。四分类转化为4个二分类等。

降低过拟合的方案有：
1减少特征数量，通过手动减少确定应该保持的特征和通过算法确定。
2正则化，保持所有特征但是通过参数theta减少部分特征的影响力或者每个特征都影响一点点对目标值。

正则化：

 隐层神经元代表的输出为输入神经元的一些抽象特征了，那么是不是可以将训练完成的神经网络，隐层输出作为数据库，表示输出层的输入，采用没有隐层的结构，完成训练过程？