Stanford 机器学习 Week3 作业 Logistic Regression

最新推荐文章于 2020-03-21 09:30:06 发布

原创最新推荐文章于 2020-03-21 09:30:06 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #Octave

机器学习同时被 2 个专栏收录

23 篇文章

订阅专栏

Octave

6 篇文章

订阅专栏

本文介绍了如何使用逻辑回归对数据进行分类，并展示了如何通过可视化来理解数据分布。文中提供了具体的MATLAB代码，包括数据点的可视化、sigmoid函数的实现、代价函数及梯度的计算方法，还涉及正则化的逻辑回归。

Visualizing the data

pos = find(y==1); neg = find(y == 0);
plot(X(pos, 1), X(pos, 2), 'k+','LineWidth', 2, ...
     'MarkerSize', 7);
plot(X(neg, 1), X(neg, 2), 'ko', 'MarkerFaceColor', 'y', ...
     'MarkerSize', 7);

Warmup exercise: sigmoid function

g = 1 ./ (1 + exp(-z))

Cost function and gradient

J = sum( -y .* log(sigmoid(X*theta)) - (1 - y) .* log(1 - sigmoid(X*theta))) / m;

for i = 1:size(theta)
    grad(i) = sum((sigmoid(X*theta) - y) .* X(:,i)) / m;
end;

Predict

p = zeros(m, 1);

for i = 1:m
    tmp = sigmoid(X(i,:)*theta);
    if tmp < 0.5
        p(i) = 0;
    else
        p(i) = 1;
    end;
end;

Regularized logistic regression

m = length(y);
J = 0;
grad = zeros(size(theta));
J = sum( -y .* log(sigmoid(X*theta)) - (1 - y) .* log(1 - sigmoid(X*theta))) / m + theta(2:end)' * theta(2:end) * lambda / m / 2;

for i = 1:size(theta)
    grad(i) = sum((sigmoid(X*theta) - y) .* X(:,i)) / m;
    if i > 1
        grad(i) = grad(i) + lambda / m *theta(i);
    end
end