第一次笔试总结

    sigmoid函数的优点在于，它的输出映射在（0，1）内，单调连续，非常适合用做输出层，并且求导比较容易。但是一旦输入落入饱和区，容易产生梯度消失。梯度小时是指在更新模型参数时采用链式求导法则反向求导，越往前梯度越小。最终的结果时到达一定深度后梯度对模型的更新就没有任何贡献了。

输出以0为中心，收敛速度比sigmoid要快，无法解决梯度消失

f(x)=max(x,0) relu在x<0时硬饱和。x>0时导数为1，保持梯度不衰减，缓解梯度消失文体，还能更快的收敛。

2、L1正则化是指权值向量w中个元素绝对值之和

L2正则化是指权值向量中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号）

3、TP，FP、FN、TN、precesion：查准率，即在检索后返回的结果中，真正正确的个数占整个结果的比例。
recall：查全率，即在检索结果中真正正确的个数 占整个数据集（检索到的和未检索到的）中真正正确个数的比例。
FN：False Negative,被判定为负样本，但事实上是正样本。
FP：False Positive,被判定为正样本，但事实上是负样本。
TN：True Negative,被判定为负样本，事实上也是负样本。

TP：True Positive,被判定为正样本，事实上也是证样本。