机器学习-线性回归

最新推荐文章于 2022-10-23 22:13:47 发布
原创 最新推荐文章于 2022-10-23 22:13:47 发布 · 332 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #线性回归 #局部加权线性回归 #岭回归 #向前逐步回归

本文深入探讨了机器学习中的回归分析技术，包括线性回归、局部加权线性回归、岭回归和前向逐步回归等方法，详细介绍了每种方法的原理、计算过程及其实现代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、用线性回归预测最佳拟合直线

       回归的目的是用已知的回归方程预测数值型的目标值，求回归方程系数的过程叫做回归。具体的做法是用回归系数乘以输入值，再将结果全部加起来，就得到预测值。
　　
　　求回归系数的一个常用方法是找出使得误差最小的www，这里的误差指的是预测yyy值和真实yyy值之间的差值，使用误差的简单累加正差值和负差值相互抵消，所以采用平方误差，而基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。其中平方误差可以写为：
　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　Ew=∑i=1m(yi−xiw)2E_{w}=\sum_{i=1}^{m}(y_{i}-x_{i}w)^{2}Ew​=∑i=1m​(yi​−xi​w)2
　　
　　用矩阵表示还可以写作Ew=(y−Xw)T(y−Xw)E_{w}=(y-Xw)^{T}(y-Xw)Ew​=(y−Xw)T(y−Xw),对www求导得：
　　
　　 　　　　　　　　　　　　　　　　　　Ew=yTy−wTXTy−yXw+wTXTXwE_{w}=y^{T}y-w^{T}X^{T}y-yXw+w^{T}X^{T}XwEw​=yTy−wTXTy−yXw+wTXTXw
　　
　　 　　　　　　　　　　　　　　　　　　∂∂wEw=−XTy−XTy+XTXw+XTXw\frac{\partial }{\partial w}E_{w}=-X^{T}y-X^{T}y+X^{T}Xw+X^{T}Xw∂w∂​Ew​=−XTy−XTy+XTXw+XTXw
　　
　　 　　　　　　　　　　　　　　　　　　∂∂wEw=2XTXw−2XTy=2XT(Xw−y)\frac{\partial }{\partial w}E_{w}=2X^{T}Xw-2X^{T}y=2X^{T}(Xw-y)∂w∂​Ew​=2XTXw−2XTy=2XT(Xw−y)
　
　　这里用到对矩阵的转置求导，即:∂∂AAB=∂∂ABA=BT\frac{\partial }{\partial A}AB=\frac{\partial }{\partial A}BA=B^{T}∂A∂​AB=∂A∂​BA=BT,∂∂AATB=∂∂ABAT=B\frac{\partial }{\partial A}A^{T}B=\frac{\partial }{\partial A}BA^{T}=B∂A∂​ATB=∂A∂​BAT=B
　　
　　令∂∂wEw=0\frac{\partial }{\partial w}E_{w}=0∂w∂​Ew​=0可得www的最优的闭式解，当XTXX^{T}XXTX为满秩矩阵或者正定矩阵时可得：
　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　　w=(XTX)−1XTyw=(X^{T}X)^{-1}X^{T}yw=(XTX)−1XTy
基于Python实现的代码如下所示：

def standRegres(xArr,yArr):
    xMat=mat(xArr);yMat=mat(yArr)
    xTx=xMat.T*xMat               #计算X.T*X
    if linalg.det(xTx)==0.0:
        print("This matrix is singular,cannot do inverse")
        return
    ws=xTx.I*(xMat.T*yMat.T)       #xTx.I为xTx的逆
    return ws

画出数据集和最佳拟合直线Python代码如下所示：

def plotScatter(xArr,yArr,ws):
    xMat=mat(xArr)
    yMat=mat(yArr)
    yHat=xMat*ws
    coef=corrcoef(yHat.T,yMat)      #计算相关系数
    print("相关系数为：",coef)
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0],c='r',s=10)  #flatten函数将矩阵降成一维，.A表示将矩阵转换成数组
    xCopy=xMat.copy()
    xCopy.sort(0)                 #按列排序结果
    yHat=xCopy*ws
    ax.plot(xCopy[:,1],yHat)
    plt.savefig('最佳拟合直线示意图.png')
    plt.show()

得到的结果如下图所示：
在这里插入图片描述

二、局部加权线性回归

       线性回归可能出现欠拟合现象，因为它要求的是具有最小均方误差的无偏估计。如果模型欠拟合则不能去的较好的预测效果。所以局部加权线性回归在估计中引入一些偏差，从而降低预测的均方误差。
　　
　　在局部加权线性回归(LWLR)算法中,给带预测的点附近的每一个点赋予一定的权重，在这个子集上基于最小均方误差进行普通回归。与KNN一样，该算法每次预测均需要事先选取出对应的数据子集，该算法解出回归系数www的形式如下：
　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　w=(XtWX)−1XTWyw=(X^{t}WX)^{-1}X^{T}Wyw=(XtWX)−1XTWy

其中WWW是一个矩阵，用来给每个数据点赋予权重。
　　
　　局部加权线性回归使用"核"来对附近的点赋予更高的权重。最常用的就是高斯核，高斯核对应的权重如下所示：
　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　w(i,i)=exp(∣xi−x∣−2k2)w(i,i)=exp\left ( \frac{\left | x^{i}-x \right |}{-2k^{2}} \right )w(i,i)=exp(−2k2∣xi−x∣​)
　　
　　这样就构建了一个只含对角线元素的权重矩阵WWW,并且点xxx与x(i)x(i)x(i)越近，w(i,i)w(i,i)w(i,i)将会越大。kkk为用户指定的参数，它决定对附近点赋予多大的权重。

基于Python实现局部加权线性回归以及画出拟合直线的代码如下所示：

def lwlr(testPoint,xArr,yArr,k=1.0):
    xMat=mat(xArr);yMat=mat(yArr)
    m=shape(xMat)[0]
    weights=mat(eye((m)))                             #创建对角矩阵(方阵)，阶数等于样本点的个数，即为每个样本点初始化一个权重
    for j in range(m):                                #算法遍历数据集，计算每一个样本点对应的权重值
        diffMat=testPoint-xMat[j,:]                   #计算样本点与待预测样本点的距离
        weights[j,j]=exp(diffMat*diffMat.T/(-2.0*k**2)) #随着距离的增加，权重值的大小以指数级衰减
    xTx=xMat.T*(weights*xMat)
    if linalg.det(xTx)==0.0:
        print('This matrix is singular,cannot do inverse')
        return
    ws=xTx.I*(xMat.T*(weights*yMat.T))
    return testPoint*ws                               #得到回归系数ws的一个估计

def lwlrTest(testArr,xArr,yArr,k=1.0):
    m=shape(testArr)[0]
    yHat=zeros(m)
    for i in range(m):
        yHat[i]=lwlr(testArr[i],xArr,yArr,k)          #给定空间中的任意一点，计算出对应的预测值yHat
    return yHat

def plotScatterlwlr(xArr,yArr,yHat):
    xMat = mat(xArr)
    yMat = mat(yArr)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xMat[:, 1].flatten().A[0], yMat.flatten().A[0], c='r', s=2)  # flatten函数将矩阵降成一维
    srtInd=xMat[:,1].argsort(0)
    xSort=xMat[srtInd][:,0,:]                                               #返回的是数组值从小到大的索引值
    ax.plot(xSort[:,1], yHat[srtInd])
    plt.savefig('k=0.01时局部加权线性回归示意图.png')
    plt.show()

当k=0.01时k=0.01时k=0.01时，拟合的直线结果如下所示
在这里插入图片描述
当k=0.003k=0.003k=0.003考虑了太多的噪声，从而出现过拟合现象，拟合直线如下图所示：
在这里插入图片描述
当k=1k=1k=1时，拟合的效果与最小二乘法差不多
在这里插入图片描述

三、岭回归

       当特征比样本点还多(n>m)(n>m)(n>m),也就是说矩阵XXX不是满秩的，非满秩矩阵在求逆时会出现问题。统计学家引入了岭回归的概念。简单来说岭回归就是在矩阵XTXX^{T}XXTX上加一个λI\lambda IλI,从而使得矩阵非奇异，进而能使得(XTX+λI)(X^{T}X+\lambda I)(XTX+λI)求逆。其中III是一个m∗mm*mm∗m的单位矩阵。在这种情况下回归系数的计算公式变为：
　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　w=(XTX+λI)−1XTyw=(X^{T}X+\lambda I)^{-1}X^{T}yw=(XTX+λI)−1XTy
　　
　　这里通过引入λ\lambdaλ来限制所有www之和，通过引入该惩罚项，能够减少不重要的参数。岭回归以及回归系数变化图实现代码如下所示：

#岭回归
def ridgeRegres(xMat,yMat,lam=0.2):
    xTx=xMat.T*xMat
    denom=xTx+eye(shape(xMat)[1])*lam
    if linalg.det(denom)==0.0:
        print('This matrix is singular,connot do inverse')
        return
    ws=denom.I*(xMat.T*yMat.T)
    return  ws

def ridgeTest(xArr,yArr):
    xMat=mat(xArr);yMat=mat(yArr)
    yMean=mean(yMat.T,0)
    yMat=yMat-yMean
    xMeans=mean(xMat,0)
    xVar=var(xMat,0)
    xMat=(xMat-xMeans)/xVar
    numTestPts=30
    wMat=zeros((numTestPts,shape(xMat)[1]))
    for i in range(numTestPts):
        ws=ridgeRegres(xMat,yMat,exp(i-10))
        wMat[i,:]=ws.T
    return wMat

def plotRidge(ridgeWeights):
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.plot(ridgeWeights)
    plt.savefig('岭回归的回归系数变化图.png')
    plt.show()

岭回归的系数变化图如下所示：
在这里插入图片描述

四、前向逐步回归

       前向逐步回归属于一种贪心算法，对每一步都尽可能的减少误差。其伪代码如下所示：
　　　　　　
　　　　　　数据标准化，使其分布满足0均值和单位方差
　　　　　　在每轮迭代过程中：
　　　　　　　　设置当前最小误差lowestError为正无穷
　　　　　　　　对每个特征：
　　　　　　　　　　增大或者缩小：
　　　　　　　　　　改变一个系数得到一个新的w
　　　　　　　　　　计算新的w下的误差
　　　　　　　　　　如果误差Error小于最小当前误差lowestError:
　　　　　　　　　　　　 设置wbest等于当前的w
　　　　　　　　　　将w设置为新的wbest
　　
　　基于Python 实现的代码如下所示：

def stageWise(xArr,yArr,eps,numIt):

    #数据标准化
    xMat=mat(xArr);yMat=mat(yArr).T
    yMean=mean(yMat,0)
    yMat=yMat-yMean
    xMeans=mean(xMat,0)
    xVar=var(xMat,0)
    xMat=(xMat-xMeans)/xVar
    m,n=shape(xMat)
    returnMat=zeros((numIt,n))
    ws=zeros((n,1))
    wsTest=ws.copy()
    wsMax=ws.copy()

    #每轮迭代过程
    for i in range(numIt):
        print(ws.T)
        lowesError=inf
        for j in range(n):
            for sign in [-1,1]:
                wsTest=ws.copy()
                wsTest[j]+=eps*sign
                yTest=xMat*wsTest
                rssE=rssError(yMat.A,yTest.A)
                if rssE<lowesError:
                    lowesError=rssE
                    wsMax=wsTest
        ws=wsMax.copy()
        returnMat[i,:]=ws.T
    return returnMat

#分析预测误差大小
def rssError(yArr,yHatArr):
    return((yArr-yHatArr)**2).sum()

def plotlasso(returnWeights):
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.plot(returnWeights)
    plt.savefig('前向逐步回归系数变化图.png')
    plt.show()

前向逐步回归得到的系数与迭代次数的关系如下所示：
在这里插入图片描述

五、全部代码实现

工程打包地址：

"""
内容：
1.机器学习-回归分析
2.标准回归函数
3.局部加权线性回归
4.岭回归
5.前向逐步回归
姓名：pcb
日期：2019.1.6
"""
from numpy import *
import matplotlib.pyplot as plt


#加载数据
def loadDataSet(filename):
    numFeat=len(open(filename).readline().split('\t'))-1
    datMat=[];labelMat=[]
    fr=open(filename)
    for line in fr.readlines():
        lineArr=[]
        curLine=line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        datMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return datMat,labelMat

#1.---------------计算最佳拟合直线---------------------------------------------
def standRegres(xArr,yArr):
    xMat=mat(xArr);yMat=mat(yArr)
    xTx=xMat.T*xMat               #计算X.T*X
    if linalg.det(xTx)==0.0:
        print("This matrix is singular,cannot do inverse")
        return
    ws=xTx.I*(xMat.T*yMat.T)       #xTx.I为xTx的逆
    return ws

#画出线性回归的散点图以及最佳拟合曲线
def plotScatter(xArr,yArr,ws):
    xMat=mat(xArr)
    yMat=mat(yArr)
    yHat=xMat*ws
    coef=corrcoef(yHat.T,yMat)      #计算相关系数
    print("相关系数为：",coef)
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.scatter(xMat[:,1].flatten().A[0],yMat.T[:,0].flatten().A[0],c='r',s=10)  #flatten函数将矩阵降成一维，.A表示将矩阵转换成数组
    xCopy=xMat.copy()
    xCopy.sort(0)                 #按列排序结果
    yHat=xCopy*ws
    ax.plot(xCopy[:,1],yHat)
    plt.savefig('最佳拟合直线示意图.png')
    plt.show()

#-----------------------------------------------------------------------------

#2.----------------局部加权线性回归---------------------------------------------
def lwlr(testPoint,xArr,yArr,k=1.0):
    xMat=mat(xArr);yMat=mat(yArr)
    m=shape(xMat)[0]
    weights=mat(eye((m)))                             #创建对角矩阵(方阵)，阶数等于样本点的个数，即为每个样本点初始化一个权重
    for j in range(m):                                #算法遍历数据集，计算每一个样本点对应的权重值
        diffMat=testPoint-xMat[j,:]                   #计算样本点与待预测样本点的距离
        weights[j,j]=exp(diffMat*diffMat.T/(-2.0*k**2)) #随着距离的增加，权重值的大小以指数级衰减
    xTx=xMat.T*(weights*xMat)
    if linalg.det(xTx)==0.0:
        print('This matrix is singular,cannot do inverse')
        return
    ws=xTx.I*(xMat.T*(weights*yMat.T))
    return testPoint*ws                               #得到回归系数ws的一个估计

def lwlrTest(testArr,xArr,yArr,k=1.0):
    m=shape(testArr)[0]
    yHat=zeros(m)
    for i in range(m):
        yHat[i]=lwlr(testArr[i],xArr,yArr,k)          #给定空间中的任意一点，计算出对应的预测值yHat
    return yHat

def plotScatterlwlr(xArr,yArr,yHat):
    xMat = mat(xArr)
    yMat = mat(yArr)
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xMat[:, 1].flatten().A[0], yMat.flatten().A[0], c='r', s=2)  # flatten函数将矩阵降成一维
    srtInd=xMat[:,1].argsort(0)
    xSort=xMat[srtInd][:,0,:]                                               #返回的是数组值从小到大的索引值
    ax.plot(xSort[:,1], yHat[srtInd])
    plt.savefig('k=0.01时局部加权线性回归示意图.png')
    plt.show()

#-----------------------------------------------------------------------------

#3.----------使用岭回归---------------------------------------------------------


#岭回归
def ridgeRegres(xMat,yMat,lam=0.2):
    xTx=xMat.T*xMat
    denom=xTx+eye(shape(xMat)[1])*lam
    if linalg.det(denom)==0.0:
        print('This matrix is singular,connot do inverse')
        return
    ws=denom.I*(xMat.T*yMat.T)
    return  ws

def ridgeTest(xArr,yArr):
    xMat=mat(xArr);yMat=mat(yArr)
    yMean=mean(yMat.T,0)
    yMat=yMat-yMean
    xMeans=mean(xMat,0)
    xVar=var(xMat,0)
    xMat=(xMat-xMeans)/xVar
    numTestPts=30
    wMat=zeros((numTestPts,shape(xMat)[1]))
    for i in range(numTestPts):
        ws=ridgeRegres(xMat,yMat,exp(i-10))
        wMat[i,:]=ws.T
    return wMat

def plotRidge(ridgeWeights):
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.plot(ridgeWeights)
    plt.savefig('岭回归的回归系数变化图.png')
    plt.show()

#-----------------------------------------------------------------------------

#-----------前向逐步回归-------------------------------------------------------
"""
伪代码：
    数据标准化，使其分布满足0均值和单位方差
    在每轮迭代过程中：
        设置当前最小误差lowestError为正无穷
        对每个特征：
            增大或者缩小：
               改变一个系数得到一个新的w
               计算新的w下的误差
               如果误差Error小于最小当前误差lowestError:
                   设置wbest等于当前的w
            将w设置为新的wbest

"""
def stageWise(xArr,yArr,eps,numIt):

    #数据标准化
    xMat=mat(xArr);yMat=mat(yArr).T
    yMean=mean(yMat,0)
    yMat=yMat-yMean
    xMeans=mean(xMat,0)
    xVar=var(xMat,0)
    xMat=(xMat-xMeans)/xVar
    m,n=shape(xMat)
    returnMat=zeros((numIt,n))
    ws=zeros((n,1))
    wsTest=ws.copy()
    wsMax=ws.copy()

    #每轮迭代过程
    for i in range(numIt):
        print(ws.T)
        lowesError=inf
        for j in range(n):
            for sign in [-1,1]:
                wsTest=ws.copy()
                wsTest[j]+=eps*sign
                yTest=xMat*wsTest
                rssE=rssError(yMat.A,yTest.A)
                if rssE<lowesError:
                    lowesError=rssE
                    wsMax=wsTest
        ws=wsMax.copy()
        returnMat[i,:]=ws.T
    return returnMat

#分析预测误差大小
def rssError(yArr,yHatArr):
    return((yArr-yHatArr)**2).sum()

def plotlasso(returnWeights):
    fig=plt.figure()
    ax=fig.add_subplot(111)
    ax.plot(returnWeights)
    plt.savefig('前向逐步回归系数变化图.png')
    plt.show()
#----------------------------------------------------------------------------


def main():
# #1.---------线性回归---------------------------
#     xArr,yArr=loadDataSet('ex0.txt')
#     ws=standRegres(xArr,yArr)
#     plotScatter(xArr,yArr,ws)
# #---------------------------------------------
# #2.--------局部加权线性回归---------------------
#     xArr,yArr=loadDataSet('ex0.txt')
#     #ws=lwlr(xArr[0],xArr,yArr,0.001)
#     #print(ws)
#     yHat=lwlrTest(xArr,xArr,yArr,0.01)
#     plotScatterlwlr(xArr,yArr,yHat)
# #---------------------------------------------

# #3.---------岭回归------------------------------
#     abX,abY=loadDataSet('abalone.txt')
#     ridgeWeights=ridgeTest(abX,abY)
#     plotRidge(ridgeWeights)
#
# #----------------------------------------------

#4.---------前向逐步回归--------------------------
    xArr,yArr=loadDataSet('abalone.txt')
    returnMat=stageWise(xArr,yArr,0.005,1000)
    plotlasso(returnMat)
    print(returnMat)
#-----------------------------------------------


if __name__=='__main__':
    main()
斯坦福大学机器学习——误差理论（Error Theory）
linkin1005的专栏
01-09 3万+
一、偏倚（bias）和方差(variance) 在讨论线性回归时，我们用一次线性函数对训练样本进行拟合（如图1所示）；然而，我们可以通过二次多项式函数对训练样本进行拟合（如图2所示），函数对样本的拟合程序看上去更“好”；当我们利用五次多项式函数对样本进行拟合（如图3所示），函数通过了所有样本，成为了一次“完美”的拟合。 图3建立的模型，在训练集中通过x可以很好的预测y，然而
机器学习中线性回归问题以及算法的解决办法提出
July_sun的博客
11-13 6548
回归分析研究的是客观事物变量间的统计关系，通过在对客观事物大量实验和观测的基础上，找到隐藏在不确定现象中的规律性的统计方法。这一方法从高斯提出的最小二乘法算起已经有200年的历史，一直在被各种学科广泛的应用中。但在机器学习分支中，使用线性回归模型违背的假设以及解决方法，本文做一简单的介绍。
机器学习算法--线性回归
Thewindking的博客
03-13 699
线性回归线性回归解决问题基本形式线性回归目的模型计算梯度下降法求最优解代码演示--波士顿房价预估(python) 线性回归算法学习记录，方便后期复习 线性回归解决问题 对大量的观测数据进行处理，从而得到比较符合事物内部规律的数学表达式。也就是说寻找到数据与数据之间的规律所在，从而就可以模拟出结果，也就是对结果进行预测。解决的就是通过已知的数据得到未知的结果。例如：对房价的预测、判断信用评价、电影票房预估等。 基本形式 给定由d个属性描述的示例X=(x1;x2;…;xd)，其中xi是X在第i个属性上的取值
python做线性回归中出错type error_python中的线性回归与完全错误的回归lin严重错误...
weixin_39816024的博客
12-20 369
这是一个非常有趣的案例研究！在似乎回归线事实上是正确的，你的眼睛(和你的情节)正在欺骗你。在您生成的散点图如下：看起来是个正斜率，对吧？对吗？好吧，不。这里有太多的点，以至于不可能看到大多数点在哪里。大多数点都是向下倾斜的，但它们都在彼此的顶部，另外一些不在彼此顶部的点显示出向上的坡度。在更好的情节：降低视觉重叠为了测试这一点，我用更低的不透明度和更小的标记大小绘制了这些点(因此重叠量将减少：pl...
线性回归误差项方差的估计
kdazhe的博客
10-23 9106
线性回归误差项的估计
线性回归-误差项分析
weixin_43327597的博客
05-09 8287
线性回归-误差项分析 当我们用线性回归模型去做回归问题时，会接触到误差项这个概念 对于一个线性回归模型 y(i)=θTxiy^{(i)}=\theta^Tx^{i}y(i)=θTxi 其实往往不能准确预测数据的真实值，这是很正常的，各种各样的因素会使真实值很难符合线性分布，但对于有些数据分布总体会符合线性分布，但不能完全接近，这是很合理的。对于那些很接近线性分布的数据，可以训练模型去尽量的拟合数据。 对于每一个样本其实会有这样一个公式： y(i)=θTxi+ε(i)y^{(i)}=\theta^Tx^{i}
机器学习-线性回归整理PPT
12-04
线性回归是一种基础且重要的统计学与机器学习方法，它用于预测一个连续数值型的输出变量，基于一个或多个输入变量。线性回归的核心思想是寻找一条直线（在一维情况下）或超平面（在多维情况下）来最好地拟合数据，这...
机器学习-线性回归实践
01-09
线性回归是机器学习领域中最基础且重要的算法之一，它主要用来预测连续数值型的目标变量。在本实践项目中，我们将深入理解线性回归的概念、原理以及如何在实际问题中应用。 线性回归的核心思想是寻找一个最佳的直线...
3.1 机器学习-线性回归
10-28
线性回归是机器学习中用于预测数值型数据的基础算法之一。线性回归模型尝试通过找到最佳的线性关系来预测两个或多个变量之间的关系，最常见的是简单线性回归，涉及一个自变量和一个因变量。 简单线性回归的基本形式...
机器学习-线性回归数据示例
10-31
在机器学习领域，线性回归被广泛应用于预测分析，如房价预测、股票价格走势分析等。 线性回归模型的基本形式是y = a + bx + e，其中y表示因变量，x表示自变量，a称为截距项，b表示自变量x的系数，e表示误差项。在...
机器学习-线性回归身高预测
最新发布
02-21
在当前的机器学习领域，线性回归是最基础也是最常用的预测模型之一，尤其在需要估算连续值结果时。本篇知识将详细探讨如何使用线性回归模型进行身高预测。首先，我们要清楚线性回归的核心原理，即通过建立一个线性...
机器学习实战——笔记（线性回归之误差分析）
Dlog的博客
01-16 5355
线性回归之误差分析 首先回顾下上一节得到的曲线长这样： 图来源于李宏毅大神~ error主要来源于两方面： bias：标准差 variance：方差 简单的来理解一下bias（标准差）及variance（方差） 比如：“预测宝可梦进化后的战斗力的例子” 我们知道一定存在一个最佳的数学模型来预测新的“宝可梦”进化后战斗力，记为f^\hat{f}f^​（这也是我们辛辛苦苦想找的） 但是，我们每...
机器学习中常用的线性回归问题
码龙社的博客
11-12 4806
一、线性回归的定义及矩阵运算 线性回归的定义是：目标值预期是输入变量的线性组合。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。 优点：结果易于理解，计算不复杂 缺点：对非线性的数据拟合不好 适用数据类型：数值型和标称型 房价例子中房子的大小预测房子的价格。f(...
线性回归与非线性回归
07-25 1949
数学建模（二）
线性回归学习心得
Maple__Boy
08-12 3706
2000
Linear Regression笔记
Estel_的博客
03-30 711
总结AndrewNg的课程
【报错篇】singularmatrix报错:解决方案
weixin_42326479的博客
08-03 8509
python中出现奇异矩阵解决方法 解决方法 比如K是一个8阶的奇异矩阵，只要对K的对角线都加了个非常小的数即可 K[0,0]=K[0,0]+np.array([1e-6]) K[1,1]=K[1,1]+np.array([1e-6]) K[2,2]=K[2,2]+np.array([1e-6]) K[3,3]=K[3,3]+np.array([1e-6]) K[4,4]=K[4,4]+np.ar...
protel dxp 2004电路仿真
LMHGEN的专栏
09-23 3094
[Error]    RLC    XSpice    doAnalyses: Matrix is singular    解决方法：调节交流电源参数如下图
机器学习 --- 线性回归
03-29
线性回归是一种基本的机器学习算法，它用于预测一个连续变量的值，基于一个或多个自变量的值。在线性回归中，我们假设自变量和因变量之间存在线性关系，因此使用线性方程来建立模型。 对于单变量线性回归，我们可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值