ningchewinbell的博客

激活函数分为两大类：饱和函数和非饱和函数。 非饱和函数的优点： (1)"非饱和激活函数”能解决所谓的“梯度消失”问题； (2)它能加快收敛速度。 常见的饱和函数：sigmoid、tanh； 常见的非饱和函数：ReLU等。 1.sigmoid sigmoid函数将一个实值输入压缩至[0,1]的范围。 函数图像如下： sigmoid的不足： 1.容易出现梯度消失； 2.函数输出不是零中心； 3....

1.支持向量机 寻找超平面 2.决策树 2.1 ID3 熵：度量事物的不确定性，越不确定的事物，它的熵越大。随机变量X的熵的表达式如下： 其中n代表X的n种不同的离散取值，代表了X取第i个值的概率。 条件熵： 信息增益： ID3的不足： a. ID3没有考虑连续特征 b. ID3选择信息增益大的特征优先建立决策树节点。很快人们发现，相同条件下，取值比较多的比取值少的...