weixin_36198467的博客

正规方程法问题：矩阵XTXX^TXXTX不可逆（奇异矩阵）的2种常见原因：1、特征之间存在线性关系。如：x2=x1∗3.14x_2 = x_1 * 3.14x2​=x1​∗3.14，解决办法：删除一个2、样本数量m小于等于特征数量n。解决办法：正规化减少特征数量...

逻辑回归的代价函数公式：hθ=θTxh_θ = θ^Txhθ​=θTx,g(z)=11+e−zg(z) = \frac1{1+e^{-z}}g(z)=1+e−z1​ ==>hθ=11+e−θTxh_θ = \frac1{1+e^{-θ^Tx}}hθ​=1+e−θTx1​代价函数：J(θ)J(θ)J(θ) = 1m∑i=1m12(hθ(x(i))−y(i))2\frac1m\sum_{i=1}^{m}\frac12{(h_θ(x^{(i)}) - y^{(i)})}^2m1​∑i=1m​21​(hθ

多元线性回归公式：hθh_θhθ​ = θ0θ_0θ0​ + θ1xθ_1xθ1​x + θ2x2θ_2x_2θ2​x2​ +……+θnxnθ_nx_nθn​xn​我们假设x0x_0x0​ = 1,则我们的特征向量XXX为：[x0x1……xn]\left[\begin{matrix}x_0 & \\x_1 & \\…… & \\x_n \end{matrix} \right]⎣⎢⎢⎡​x0​x1​……xn​​​⎦⎥⎥⎤​我们的参数θ为：[θ0θ1……θn

线性回归线性回归公式：hθh_θhθ​ = θ0θ_0θ0​ + θ1xθ_1xθ1​x平方差代价函数：J(θ)J(θ)J(θ) = 12m∑i=1m(hθ(x(i)−yi))2\frac1{2m}\sum_{i=1}^{m}{(h_θ(x^{(i)} - y^{i}))}^22m1​∑i=1m​(hθ​(x(i)−yi))2梯度下降θj:=θj−α∂∂θjJ(θ0,θ1)θ_j := θ_j - α\frac∂ {∂ θ_j}J(θ_0,θ_1)θj​:=θj​−α∂θj​∂​J(θ0​,θ1​)