机器学习算法导论代码---lasso_cd

关注

原创最新推荐文章于 2026-06-09 09:55:58 发布 967 阅读 AI 写同款· GEO 优化 ›

手写算法-python代码实现Lasso回归手写算法-python代码实现Lasso回归Lasso回归简介Lasso回归分析与python代码实现1、python实现坐标轴下降法求解Lasso调用sklearn的Lasso回归对比2、近似梯度下降法python代码实现Lasso Lasso回归简介上一篇文章我们详细介绍了过拟合和L1、L2正则化，Lasso就是基于L1正则化，它可以使得参数稀疏，防止过拟合。其中的原理都讲的很清楚，详情可以看我的这篇文章。链接: 原理解析-过拟合与正则化本文主要实现python代码的Lasso回归，并用实例佐证原阅读详情

# Lasso回归问题的坐标下降算法
import numpy as np
class Lasso:
    def __init__(self,Lambda=1):
        self.Lambda=Lambda

    def soft_threshold(self,t,x):
        if x>t:
            return x-t
        elif x>=-t:
            return 0
        else:
            return x+t
    def fit(self,X,y,N=1000):
        m,n=X.shape
        alpha=2*np.sum(X**2,axis=0)/m
        w=np.zeros(n)
        for t in range(N):
            j=t%n
            w[j]=0
            e_j=X.dot(w.reshape(-1,1))-y
            beta_j=2*X[:,j].dot(e_j)/m
            w[j]=self.soft_threshold(self.Lambda/alpha[j],-beta_j/alpha[j])
        self.w=w
    def predict(self,X):
        return X.dot(self.w.reshape(-1,1))