NZR的blog

【机器学习】范数规则化之——L0、L1与L2范数 在机器学习领域中，我们通常求解模型的目标是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。 最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。 但训练误差小并不是我们的最终目标，我们的目标是希望模型的测试误差小，也就是能准确的预测

1. 什么是决策树？如何构建一棵决策树？ 决策树是一种分类技术，一般使用hunt算法构建一个决策树，Hunt算法的递归定义如下：（1）如果所有记录属于同一个类，则该节点作为叶子节点；（2）否则，选择一个属性将其分为更小的类，将记录保存在子女节点中，然后对于子女节点递归地调用该算法。 2. 介绍一下常见的几种衡量不纯度的方式。 常见的几种指标包括：熵、基尼指数、classification error 上述的三种指标越大，说明信息越混乱，不纯度就越高。 3. 什么是ID3算法？ 在Hunt算法的基础之上，选择