[机器学习]前向逐步回归

最新推荐文章于 2024-10-28 17:51:11 发布

Thorrrrrrrrrr

最新推荐文章于 2024-10-28 17:51:11 发布

阅读量5.8k

点赞数

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/sinat_33487968/article/details/70653055

版权

前向逐步回归是一种简化版的lasso回归，采用贪心策略逐步选择特征以最小化误差。该算法在每一步中都寻求最佳特征加入，以提高模型预测准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前向逐步回归算法可以得到与lasso差不多的效果，但更加简单。它属于一种贪心算法，即每一步都尽可能的减少误差。

数据如下：

图片

from numpy import *
def rssError(yArr,yHatArr):
    return((yArr-yHatArr)**2).sum()

def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t'))-1
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat


def regularize(xMat):#regularize by columns
    inMat = xMat.copy()
    inMeans =