JJ_1995的博客

梯度下降公式：优化起因：对于每个特征量Xi，当特征量之间范围差距过大时（如0优化1：特征缩放Feature scaling 将每个特征量范围尽量缩为：【-1，1】公式：xi = (xi-ui)/si   其中ui为训练数据中xi的平均值，si为xi范围。优化起因：下降幅度a的设置问题。a过大会造成无法下降到局部最优。a过小会造成循环次数 过多。优化2：正确设置a。另

建模：对要解决的问题进行建模，得到结果与变量的关系式。如y = p0 + p1 *x1+p2*x2(线性模型，p为参数，x为变量）代价函数（cost function):要得到精确的关系式，就得有个判断标准，什么样的关系式才是精确的。引入代价函数，进行判断。（其中为当前参数得到的y）我们算法要做的正是不断降低代价函数，使代价函数不断减少。要用到的算法正是Gradient Des

监督学习（输入有X,y，即学习的数据带有结果):1.classfiication problems 分类问题.2.regression problems 回归问题.无监督学习(输入数据只有X)：聚类问题，又算法将其分类。

梯度下降算法:通过不断减低代价函数而得到准确的参数。例如:算法运行过程:给定初始参数p0,p1，通过算法一步一步调整P0,P1,使得J变小。θj:=θj−α∂∂θjJ(θ0,θ1)；其中 α   为每步调整的幅度。MATLAB编码过程：1.录入数据：data = load('data.txt');X = data(:, 1); y = dat

计算一类问题时：         THETA是一个  M*1的列向量。（其中M为参数p个数）计算多类问题时：ALL_THETA是一个M*K的矩阵（K为种类个数）算第一类问题是THETA是ALL_THETE的第一列，即ALL_THETE(1,:),第二列为第二类，如此类推。看那一列得到的结果最大，即预测为该类。

Neural Networks，神经网络，我的理解是：与阶梯下降算法中的分类算法类似，分类算法是从输入到输出只经过一层的模型，模型的选择很大程度决定了算法的效果，而神经网络，通过对第一层参数进行多次传递，也许参数会形成类如平方，次方的效果，让神经网络来选择参数的模型。定义：a(1)代表第一层输入，a(2),a(3)类似。图例中a(4)即为Y.s(1)代表第一层的神经元个数（不包