dkkfff的博客

参考链接最小二乘法中的**“二乘”本质上是平方**的意思，也可以叫最小平方法。其目的就是通过最小化误差的平方和，使得拟合对象无限接近目标对象。换句话说，最小二乘法定义了一种函数的拟合标准，其目标是最小化误差的平方和。注意，同一组数据，选择不同的f(x)，通过最小二乘法可以得到不一样的拟合曲线什么是最小二乘法最小二乘法：所选择的回归模型应该使所有观察值的残差平方和（即采用平方损失函数）达到最小一、核心思想求解未知参数，使得理论值与观测值之差（即误差，或者说残差）的平方和达到最小：yi：观测值

在概率论和统计学中，协方差用于衡量两个变量的总体误差；方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差定义：期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差为：cov(X,Y)=E(X- μ)E(Y-v)=E(XY)- μv1.协方差表示的是两个变量总体的误差，这与只表示一个变量误差的方差不同。2.如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。3.如果两个变量的变

一、前言似然估计是最传统、使用最广泛的参数估计方法之一，而参数估计是机器学习里面的一个重要主题。对于一系列观察数据，可以找到一个具体分布来描述，但不清楚分布的参数。这时候就需要用极大似然估计来求解这个分布的参数。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”二、概述1.本质：对于极少的样本观测，极大似然估计认为，观测到的样本就是发生概率最大的。2.似然函数：前提是样本独立同分布，似然函数L(p)L(p)L(p)是每个样本出现概率的乘积p(xi)。3.极大