pnd237的博客

决策树简介决策树分类决策树训练和可视化分类过程估计类别的概率CART训练算法正则化超参数回归不稳定性决策树是一种机器学习算法，它可以实现分类和回归任务，甚至是多输出任务。它也是随机森林的重要组成部分，而随机森林则是现今最为强大的机器学习算法之一，因此了解决策树的原理是非常重要的。说明：为了说明方便，本篇博客插入了许多图片，部分图片由《机器学习实战》的作者通过jupyter notebook绘制，上传于GitHub供大家学习。决策树分类决策树训练和可视化为了更加直观的了解决策树的工作原理，我们可以对

y^={0   if wT⋅x+b>0,1   if wT⋅x+b≤0\hat y=\begin{cases}0\ \ \ if\ \bf w^T\cdot x+\it b>0,\\1\ \ \ if\ \bf w^T\cdot x + \it b\leq0\end{cases}y^​={0   if wT⋅x+b>0,1   if&nb

线性回归对于线性模型，其预测模型可以写为：y^=θ0+θ1x1+θ2x2+⋯+θnxn\hat{y}=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_ny^​=θ0​+θ1​x1​+θ2​x2​+⋯+θn​xn​其中：y^\hat{y}y^​是预测值n是特征的数量xix_ixi​是第i个特征值θj\theta_jθj​是第j个模型参数（包括偏置项θ0\theta_0θ0​以及特征权重θ0,θ1,⋯ ,θn\theta_0,\theta_1,\

数据集使用的数据集为MNIST，其数据集中一共包含70000个手写数字的图片以及相应的标签。书上提供的读取数据集的代码由于版本不匹配（当时的版本较老），无法执行。因此只能在网上下载MNIST数据集。读取的方法参考：读取MNIST。具体的数据准备工作代码如下：import scipy.io as siomnist = sio.loadmat("datasets/mnist-original.mat")X,y = mnist["data"].T,mnist["label"].Tprint(X.sh

从一个小实例了解机器学习全过程准备工作明确目标选择性能指标查看数据结构我们通过一个机器学习的小实例来对机器学习技术进行一个初步了解。准备工作明确目标该实例的目的在于通过1990年加州房子的各种特征（如经纬度、该地区收入中位数等）来预测该地区房子价格的中位数。数据集已经上传至文章的附件中（包含地区的房价中位数），很明显这是一个监督式学习任务，并且是一个回归任务。选择性能指标回归问题的典型...

机器学习基本概念与定义什么是机器学习机器学习优点机器学习的种类监督式学习无监督学习半监督式学习强化学习批量学习和在线学习批量学习在线学习基于实例的学习和基于模型的学习基于实例的学习基于模型的学习机器学习主要面临的挑战什么是机器学习在《机器学习实战》书中，作者给出了两个定义，首先是笼统的定义：机器学习研究如何让计算机不需要明确的程序也能具备学习能力之后是更偏工程化的定义：一个计算机程序在完...