Juily家的小蜜果

常用的激活函数1. Sigmoid()用于将预测概率作为输出的模型2. Tanh()当输入较大或者较小，输出几乎是平滑且梯度较小，不利于权重更新3.ReLU()输入为正时，不存在梯度饱和问题，计算速度快4.LeakyReLU()调整负值零梯度的问题5.Softmax()用于多分类问题...

BN层的作用Normalization：神经网络本质上是学习数据的分布，将训练数据和测试数据归一化，可以增强网络的泛化能力，同时提高网络的训练速度。深度学习网络随着网络加深，训练越困难，收敛也越来越慢，很多方法解决这个问题，比如ReLU激活函数，比如残差神经网络，BN本质上也是从不同角度来解决这个问题的。BN也实际上是在做feature scaling，将输入数据分布变换到0均值，单位方差的正态分布，神经网络能够较快收敛。深层神经网络在做非线性变换前的激活输入值，随着网络深度加深或者在训练过程中，其

决策树先构造树形结构，再进行一系列决策，决策树是分类算法，也能做回归。比如有五个人(样本数据)，打算分类谁愿意打篮球，根据年龄和性别进行决策分类。第一次先通过其中特征进行部分选择，再在子类中根据另一个特征再分类。最后一个叶子节点就是最终分类结果。决策树算法以树状结构表示数据分类的结果。每个决策点实现一个具有离散点输出的测试函数，记为分支。训练阶段从给定的训练数据集DB，构造出一棵决策树。Class = DecisionTree(DB)分类阶段从根开始，按照决策树的分类属性逐层往下划分