模型树------构建模型树

最新推荐文章于 2021-11-22 11:37:24 发布

原创最新推荐文章于 2021-11-22 11:37:24 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#Python #机器学习 #监督学习 #算法 #模型树

算法同时被 3 个专栏收录

29 篇文章

订阅专栏

机器学习

24 篇文章

订阅专栏

有监督学习

19 篇文章

订阅专栏

本文探讨了模型树的概念及其与回归树的区别。重点介绍了如何使用线性函数作为叶子节点来预测连续值，并给出了具体的实现代码，包括线性求解、生成叶子节点及计算误差等函数。

上一节我们讨论了回归树，今天我们来讨论模型树，回归树的叶子节点是数值，模型树的叶子节点是线性函数，这里需要将上一节的函数稍加修改即可，上一节中的叶子节点生成函数、错误率函数需要进行稍加修改。

def linearSolve(dataSet):   
    m,n = shape(dataSet)
    X = mat(ones((m,n))); Y = mat(ones((m,1)))
    X[:,1:n] = dataSet[:,0:n-1]; Y = dataSet[:,-1]
    xTx = X.T*X
    if linalg.det(xTx) == 0.0:
        raise NameError('This matrix is singular, cannot do inverse,\n\
        try increasing the second value of ops')
    ws = xTx.I * (X.T * Y)
    return ws,X,Y

def modelLeaf(dataSet):
    ws,X,Y = linearSolve(dataSet)
    return ws

def modelErr(dataSet):
    ws,X,Y = linearSolve(dataSet)
    yHat = X * ws
    return sum(power(Y - yHat,2))

上面的第一个函数是一个简单的线性回归计算函数，在生成叶子节点时被调用。下面两个函数就是上面所说的两个函数的替代方案。比较简单这里不再多讲。