BLUE BOX

用抽样来近似函数值

---- from《Deep Learning with PyTorch》Sample or input or data point: These mean particular instances of training a set. In our image classification problem seen in the last chapter, each image can b...

Introduction to Gradient-Based LearningConsider a cost function  which maps a parameter vector  to a scalar  which we would like to minimize. In machine learning the cost function is typically

本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training d

Early stoppingFrom Wikipedia, the free encyclopediaIn machine learning, early stopping is a form of regularization used when a machine learning model (such as a neural network) is tr

1 SMOTE算法的简单理解一个数集中的数据是分布在特征空间中的，假设数据是2维的，那么数据的就是一个平面上的点。对于类别不平衡数据来说，假设负样本数据是少量的，那么这个数据只占据了空间的一小部分。SMOTE 算法就是对这些小样本数据占据的空间中进行插值。 而不影响到正样本的空间。2 如何插值SMOTE算法采取了一种策略，选择两个距离接近的点进行插值。

决策树学习笔记决策树的形成是一种递归的方法。一、递归1 递归返回三种情况会导致递归返回： 1. 当前包含的样本全属于同一类别划分，无需再划分 2. 当前属性集为空，或是所有样本在所有属性上取值相同，无法划分 3. 当前节点包含的样本集合为空，不能划分2 划分选择随着不断的划分，我们希望决策树的每个分支结点所包含的类别尽可能相同，即‘纯度’越来越高。 纯度又可以用以下两种方式表示： 1

集成学习集成学习由多个个体学习器组成，如果集成是‘同质’的（即所有个体学习器是同一种算法）那么这些个体学习器称为基学习器（base learner）。‘异质’的称为‘组件学习器’（component learner）.个体学习器应满足两个条件准确性多样性第一，如果学习器不准确，那么也就没用了；第二，如果学习器没有多样性那么再多的个体学习器也等于一个学习器，并没有数量上的优势。一、boostin