吴恩达机器学习第三章总结

逻辑回归

logistic regression: 0 ≤ h θ ( x ) ≤ 1 0\leq h_\theta(x) \leq 1 0hθ(x)1

h θ ( x ) = 1 1 + e − θ T X h_\theta(x)=\frac{1}{1+e^{-\theta^TX}} hθ(x)=1+eθTX1

decision boundary(决策边界)

θ T X > 0 \theta^T X>0 θTX>0 predict y=1;
是假设本身及其参数的属性所决定的

J ( θ ) = 1 m ∑ i = 1 m ( − y ( i ) l o g ( h θ ( x ( i ) ) − ( 1 − y ) l o g ( 1 − h θ ( x ( i ) ) ) J(\theta)=\frac{1}{m}\sum_{i=1}^m\big( -y^{(i)}log(h_\theta(x^{(i)})-(1-y)log(1-h_\theta(x^{(i)})\big) J(θ)=m1i=1m(y(i)log(hθ(x(i))(1y)log(1hθ(x(i)))

advanced optimization(高级优化)

options = optimset(‘GradObj’, ‘on’, ‘MaxIter’, 100);
initialTheta = zeros(2,1);
[optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);

muticlass classification

h θ ( i ) ( x ) = P ( y = i ∣ x ; θ ) ( i = 1 , 2 , 3 ) h_\theta^{(i)}(x)=P(y=i|x;\theta) \quad (i=1,2,3) hθ(i)(x)=P(y=ix;θ)(i=1,2,3)

over fitting

regularization(正规化)
underfit high bias
overfit

1.reduce number of features
2.regularization

J ( θ ) = 1 2 m [ ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 + λ ∑ j = 1 n θ j 2 ] J(\theta)=\frac{1}{2m}\left[\sum_{i=1}^m\big(h_\theta(x^{(i)})-y^{(i)})^2+\lambda \sum_{j=1}^n\theta_j^2\right] J(θ)=2m1[i=1m(hθ(x(i))y(i))2+λj=1nθj2]

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值