qq_33009429的博客

比如，NLP任务中BERT是目前的SOTA，你有idea可以超过BERT。那在论文中的实验部分你的方法需要比较的baseline就是BERT，而需要比较的benchmark就是BERT具体的各项指标。指的是一个基准，也叫基线，简单来说就是用来对比的一个参照对象，人们往往通过用和baseline比较性能的方式来凸出自己新提出的算法的优势。在机器学习领域，baseline通常是一个广为人知的算法，可以是最基础同时性能又不错的算法，也可以是最先进、性能最好的算法（SOTA）。道理上是没有这个词的，不应使用。

最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。早年，道尔顿致力于化学和遗传学领域的研究。他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。父亲的身高与儿子的身高之间关系的研究：1889年，F.Gallton和他的朋友K.Pearson收集了1078个家庭的身高、臂长和腿长的记录（散点图）企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式。

通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。目标函数 = ∑ (观测值 – 理论值)²「最小二乘法」是对过度确定系统（存在比未知数更多的方程组），以回归分析求得近似解的标准方法，在整体解决方案中，最小二乘法演算为各方程式的结果，并将残差平方和的总和最小化。