假设两个随机变量X和Y满足未知的概率分布， X和Y的协方差为：其中,E为求解数学期望的运算符。μx​和μy​分别为X和Y的均值。协方差告诉我们两个随机变量是如何一起移动的。。因此，人们希望使用某个和协方差有关，但是又是无量纲的测量来描述两个随机变量的相关性。最简单的做法就是用变量自身的波动对协方差进行标准化。令ρ表示X和Y的相关系数，它的定义为：其中σx​和σy​分别为X和Y的标准差。

特征的好坏能够决定最终模型的好坏。优秀的模型往往取决于优秀的特征提取，而特征提取就涉及到特征工程了。特征工程的目的是最大限度地从原始数据中提取特征以供算法和模型使用。时间序列的特征工程大体上分为：基础特征、转换特征、分类特征等。涉及统计分析、机器学习、深度学习等多个领域。一般来说，真实世界的时间序列常常取值范围多样，长短不一、形态各异、存在缺少值等。如果要做统一的分析，需要我们进行初步的处理，将时间序列整合到统一的范畴下，进行分析。这里基本的方法有：标准化、归一化、二值化。

常用的时序统计模型（AR、ARMA、ARIMA），在建模思路上针对当前观测点的最近P个点和最近Q个点的误差值进行建模结构如下：然而现实中，很多数据并不是按照线性关系发展的。很多时候我们是将非线性的数据通过一些方法(幂函数变换、倒数变换、指数变换、对数变换等)将其进行变换成为线性关系的问题，然后再去求解。常见的非线性回归预测的算法模型有：逻辑回归、树回归、神经网络模型等等。逻辑回归用来计算事件的概率。当因变量是状态可见时比如（真假、开关、上下等等），可使用逻辑回归。这里，Y 的取值范围为 [0,1]，它可

MAE,也称为L1损失，是预测值与实际值之间的绝对误差：所有样本值的绝对值误差的均值就称为MAE：MAE是回归模型中经常使用的一种简单有效的损失函数。但是由于异常值，回归问题中的变量可能不是严格的高斯变量，这会带来一些问题。

最简单的线性回归模型假设被预测变量y和单个预测变量 x之间存在如下线性关系：其中系数β0和β1分别表示回归线的截距和斜率。β0表示当x=0时，y的预测值；斜率β1表示当x增加一个单位时，y的平均变化。从上图可以看出，观测值并不全部落在回归线上，而是分布在回归线的周围。即：每个观测值yt都包含可解释部分β0+β1xt和随机误差项εt。随机误差项并不意味着错误，而是指观测值与线性模型的偏差。它捕捉到了除xt外其他影响yt的信息。