佚失的诗篇

详细说明 Batch Norm / Layer Norm / RMSNorm

介绍缓解过拟合问题的两种方法：权重衰减（L2正则化） & 丢弃法（dropout）。并给出 pytorch 代码

介绍机器学习模型选择时，模型性能度量的相关概念。包括错误率、精度、查准率、查全率、F1度量、ROC、AUC、代价敏感错误率与代价曲线等

介绍机器学习模型选择时，模型评估方法的相关概念。包括正则化法、留出法、交叉验证法、自助法等

介绍机器学习中训练误差、测试误差、泛化性能、过拟合、欠拟合等概念

本文介绍统计学习方法的三要素 —— 模型、策略、算法

一、机器学习是什么我们在生活中常常利用经验做出判断，比如拍拍西瓜判断它熟了没有，比如看看天气判断会不会下雨。我们在生活中积累了很多经验，并且可以利用经验对新情况做出有效的判断和决策机器学习是这样的一门学科：通过计算的手段，利用经验来改善系统自身的性能更形式化一点说：假设用P来估计计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中的任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习二、基本术语1. 数据相关属性attribute/特征feature：反映事件或对象在

本文从概率、梯度和直观三个角度说明为何分类问题使用交叉熵损失而非 MSE 损失

标准化和归一化是机器学习中的常见概念，容易混淆。其实他们都属于四类特征缩放方法，本文梳理这些概念

梳理几个信息论相关概念信息量、信息熵、条件熵、互信息、交叉熵、KL散度、JS散度

积分梯度是一种神经网络可解释性方法此方法首先在论文《Gradients of Counterfactuals》中提出，后来 《Axiomatic Attribution for Deep Networks》再次介绍了它，这已经是2016～2017年间的工作了此方法已得到较多应用，但是也有一些反对者表示其给出的结果对于积分路径敏感，不能给出唯一确切的结果，因此存在争议1. 可解释性事实上，很多论文中对于可解释性的定义都不太一样，或者直接对避而不谈，这导致可解释性成为一个大而模糊的领域。一般概.