Kadima08的博客

输出一样

BatchNorm适用于CV，而LayerNorm适用于NLP，这是由两个任务的本质差异决定的，视觉的特征是客观存在的特征，而语义特征更多是由上下文语义决定的一种统计特征，因此他们的标准化方法也会有所不同。

最近在思考非平衡数据集的分类问题，总是觉得交叉熵（CE）即使带了权重也并不够orientied。

第二章 模型评估与选择 2.1经验误差与过拟合 经验误差 m样本数量，Y样本正确结果，预测结果Y’——>错误a个 error rate：E=a/m 误差：|Y-Y’| accuracy=1-E 训练集上的误差称为“训练误差”或“经验误差”，新样本上的误差称为“泛化误差” 过拟合 把训练样本自身的一些特点当作所有潜在样本都具有的性质，泛化能力下降 欠拟合容易克服，而过拟合较为麻烦且无法彻底避免 2.2评估方法 ...

Supervised vs. Unsupervised Sup. Features are matched with lables in training dataset. Classification of Sup. Regression(successive) fit the curve y=f(x) Classification(discret&finite) usually input vectors and output lables Unsup. Relation