机器学习算法导论代码---logistic_regression_nt

最新推荐文章于 2025-06-21 11:07:53 发布

原创最新推荐文章于 2025-06-21 11:07:53 发布 · 257 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#1024程序员节

机器学习算法导论代码专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何使用Python实现逻辑回归模型，重点讲解了fit函数中使用sigmoid函数和梯度下降优化的过程，以及通过计算Hessian矩阵进行权重更新的方法。同时涵盖了交叉熵在损失函数中的应用。

import numpy as np

def sigmoid(scores):
    return 1/(1+np.exp(-scores))

class LogisticRegression:
    def fit(self,X,y,N=1000):
        m,n=X.shape
        w=np.zeros((n,1))
        for t in range(N):
            pred=sigmoid(X.dot(w))
            g=1.0/m*X.T.dot(pred-y)
            pred=pred.reshape(-1)
            D=np.diag(pred*(1-pred)) #计算的是交叉熵中的hessian矩阵
            H=1.0/m*(X.T.dot(D).dot(X))
            w=w-np.linalg.inv(H).dot(g)
        self.w=w

    def predict_proba(self,X):
        return sigmoid(X.dot(self.w))

    def predict(self,X):
        proba=self.predict_proba(X)
        return (proba>=0.5).astype(np.int)