1. 从“平均”到“预测”:期望到底是什么?
很多朋友一听到“期望”这个词,就觉得特别数学,特别抽象。其实,它离我们特别近。我刚开始做数据分析的时候,也总把期望和平均数搞混,后来踩过几次坑才彻底明白。简单来说,期望是“理论上的平均”,而平均数是我们“实际算出来的平均”。
想象一下,你面前有一个骰子。在扔它之前,我问你:“平均每次能扔出几点?”你可能会想,每个面出现的概率都是1/6,那么理论上的平均点数就是 (1+2+3+4+5+6)/6 = 3.5。这个3.5,就是骰子点数的数学期望。它是一个基于概率规则的“预测值”。哪怕你只扔了一次骰子,结果是4点,这个期望值3.5依然存在,它描述的是这个骰子如果被扔无数次,其点数的长期平均趋势。
那平均数呢?平均数是你真的动手扔了100次骰子,把这100次的点数加起来除以100,得到的一个具体数字,比如3.47。这个3.47是你的样本均值,是期望值在现实世界中的一个具体“估计”。根据大数定律,你扔的次数越多,这个样本均值就会越接近理论期望值3.5。
在实际工作中,我们几乎永远无法知道总体的真实期望(比如全中国所有人的平均收入),我们只能通过手头的样本数据(比如抽样调查的1000个人的收入)来计算样本均值,并用它来估计总体期望。所以,期望更像是一个我们永远在努力逼近的“真相”,而均值是我们用来窥探这个真相的工具。
在Python里,计算一组数据的均值(即样本期望的估计)简单得不能再简单:
import numpy as np
# 假设这是我们抽样调查的10个人的月收入(单位:千元)
incomes = [8, 15, 22, 30, 12, 18, 25, 9, 40, 17]
sample_mean = np.mean(incomes)
print(f“样本均值(对总体期望的估计)是:{sample_mean:.2f}千元”)
这段代码会输出一个具体的数值。这个数值的意义在于,它给了我们一个关于“这群人”收入水平的直观锚点。在做业务报告时,我们经常会说:“根据样本数据,我们估计目标用户的平均月收入约为XX元。”这里的XX元,就是样本均值,它承载着我们对总体期望的推断。
期望有几个非常实用的性质,能帮我们简化很多计算。比如,和的期望等于期望的和,这个性质是无条件成立的。假设你开网店,单品A的期望利润是50元,单品B的期望利润是30元,那么卖出一套(A+B)的期望利润就是80元,非常简单直接。另一个性质是,对于相互独立的随机变量,乘积的期望等于期望的乘积。这个在评估联合事件发生的平均收益时很有用。理解期望的这些性质,能让你在构建复杂的业务指标模型时,快速拆解和组合,而不是一头扎进繁琐的数据计算里。
2. 波动与风险:方差如何衡量不确定性?
知道了“平均”水平(期望)之后,下一个自然而然的问题就是:“实际情况围绕这个平均水平波动得厉害吗?”这就是方差要回答的问题。方差衡量的是数据的离散程度,或者说,不确定性或风险。
还是用收入的例子。假设有两个部门,A部门和B部门,员工的平均月收入都是20千元。但A部门所有人的收入都在19-21千元之间,非常稳定;而B部门有的人月入5千,有的人月入35千,差距巨大。虽然平均数一样,但这两个部门的收入状况天差地别。A部门的方差很小,B部门的方差巨大。在业务上,方差小意味着稳定、可预测;方差大则意味着波动大、风险高。
方差的计算公式是每个数据点与均值之差的平方的平均。为什么要平方?就是为了消除正负偏差相互抵消的影响。一个比均值大10,一个比均值小10,平均偏差是0,但这显然不能反映波动,平方后两者都贡献了100,再平均就能真实反映波动幅度了。
在Python中,计算样本方差时需要注意一个关键点:np.var()函数默认计算的是“总体方差”(除以n),而我们通常需要的是“样本方差”(除以n-1),作为对总体方差的无偏估计。
# 继续使用收入数据
variance_biased = np.var(incomes) # 默认,除以n
variance_unbiased = np.var(incomes, ddof=1) # 使用ddof=1,除以n-1
print(f“总体方差(有偏估计)为:{variance_biased:.2f}”)
print(f“样本方差(无偏估计)为:{variance_unbiased:.2f}”)
你会发现两个值略有不同。在样本量小的时候,这个区别很重要。简单记住:当你手头的数据是来自更大总体的一个样本时,用ddof=1来计算方差和标准差,这样估计更准确。
方差在机器学习中的一个核心应用就是特征标准化。想象你在构建一个房价预测模型,特征包括“房屋面积(平方米)”和“房间数”。面积的值域可能是50-200,房间数的值域是1-5。如果不做处理,模型会认为面积数值的微小变化(比如1平方米)比房间数的变化(1个房间)重要得多,因为它的绝对数值更大、方差更大。这显然不合理。我们需要通过标准化,将每个特征都拉到均值为0、方差为1的同一尺度上:
from sklearn.preprocessing import StandardScaler
# 假设X是我们的特征矩阵,有两列:面积和房间数
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
print(“标准化后的特征均值:”, X_scaled.mean(axis=0)) # 应接近 [0, 0]
print(“标准化后的特征方差:”, X_scaled.var(axis=0)) # 应接近 [1, 1]
标准化之后,模型才能公平地看待每一个特征,梯度下降等优化算法也能更快更稳定地收敛。我遇到过不止一个案例,模型效果死活调不上去,最后发现就是因为没做特征标准化,几个量纲大的特征“绑架”了模型。
此外,方差是诊断模型过拟合的关键指标之一。在训练集上,你的模型可能拟合得非常好,损失函数值(方差的一种体现)很低。但如果在从未见过的测试集上,预测结果的方差急剧增大,这就强烈暗示模型可能过拟合了——它只记住了训练数据的噪声,而没有学到普适规律。监控训练集和验证集上方差的变化趋势,是调参过程中必做的功课。
3. 协同变化:协方差揭示特征间的隐秘关系
当我们分析的数据对象有多个特征时,单看每个特征的期望和方差就不够了。我们迫切想知道:这些特征之间是不是有联系?一个变大的时候,另一个是倾向于一起变大,还是反而变小?协方差就是用来量化这种线性协同变化趋势的工具。
协方差的公式和方差很像,只是把其中一个“自己与均值的差”换成了“另一个变量与均值的差”。如果X和Y倾向于同时高于或同时低于各自的平均值,那么(X-mean(X))和(Y-mean(Y))同号,乘积为正,协方差为正,我们称它们正相关。如果一个高于均值时另一个却低于均值,乘积为负,协方差为负,就是负相关。如果两者没有线性关系,这些正负乘积会相互抵消,使得协方差接近0。
让我们看一个实际的业务场景:分析一个电商App中“用户每日浏览时长”和“购买转化率”之间的关系。直觉上,浏览时间越长,可能购买意愿越强,转化率越高。我们可以用协方差来验证这个直觉:
import pandas as pd
# 假设df是一个DataFrame,包含‘daily_browse_minutes’和‘conversion_rate’两列
df = pd.read_csv(‘user_behavior.csv’)
# 计算协方差矩阵
cov_matrix = df[[‘daily_browse_minutes’, ‘conversion_rate’]].cov()
print(“协方差矩阵:\n”, cov_matrix)
# 单独计算这两个变量的协方差
cov_value = df[‘daily_browse_minutes’].cov(df[‘conversion_rate’])
print(f“‘浏览时长’与‘转化率’的样本协方差为:{cov_value:.4f}”)
如果输出的协方差是一个显著的正数,那就证实了我们的业务假设:浏览时长和转化率存在正相关关系。市场部门或许就可以据此优化策略,比如通过优化内容来增加用户停留时间,以期提升转化。
但这里有个非常重要的坑我踩过:协方差的大小受变量自身量纲影响极大。假设浏览时长以分钟计,协方差可能是120;如果以小时计,协方差就变成了(120/60/60≈0.033)。数字看起来天差地别,但关系强弱其实没变。因此,协方差的值本身主要用来判断方向(正/负相关),不宜直接用于比较不同对变量之间相关性的强弱。
为了消除量纲影响,我们可以将协方差标准化,得到相关系数(通常是皮尔逊相关系数),它的值永远在-1到1之间,非常直观。
# 计算皮尔逊相关系数
corr_value = df[‘daily_browse_minutes’].corr(df[‘conversion_rate’])
print(f“‘浏览时长’与‘转化率’的相关系数为:{corr_value:.4f}”)
相关系数接近1,表示强正相关;接近-1,表示强负相关;接近0,表示没有线性关系。这个指标在特征工程中至关重要。如果两个特征高度相关(比如“房屋面积”和“房间数”),意味着它们提供的信息大量冗余,我们可能需要剔除其中一个以降低模型复杂度、防止多重共线性问题。
4. 从二维到高维:协方差矩阵的强大威力
当特征数量超过两个时,两两计算协方差会变得非常繁琐。这时,协方差矩阵就闪亮登场了。它是一个非常优雅且强大的工具,用一个矩阵就封装了所有特征两两之间的协方差,以及每个特征自身的方差。
假设我们有一个三维数据集,包含三个特征:身高(cm), 体重(kg), 肺活量(ml)。它的协方差矩阵是一个3x3的对称矩阵:
C = [[Var(身高), Cov(身高, 体重), Cov(身高, 肺活量)],
[Cov(体重, 身高), Var(体重), Cov(体重, 肺活量)],
[Cov(肺活量,身高), Cov(肺活量,体重), Var(肺活量)]]
对角线上的元素就是各个特征的方差,非对角线上的元素就是不同特征间的协方差。由于Cov(X, Y) = Cov(Y, X),所以这个矩阵是对称的。
在Python中,我们可以轻松计算整个数据集的协方差矩阵:
# 假设data是一个DataFrame,包含多个特征列
data = pd.DataFrame({
‘height’: [170, 175, 165, 180, 172],
‘weight’: [65, 70, 60, 80, 68],
‘lung_capacity’: [3000, 3200, 2900, 3500, 3100]
})
cov_matrix = data.cov() # pandas直接计算协方差矩阵
print(“数据的协方差矩阵:\n”, cov_matrix)
协方差矩阵远不止是一个整理数据的工具。它是许多高级数据分析方法的基石:
- 主成分分析(PCA):PCA的目标是找到数据中方差最大的方向(主成分),从而实现降维。这些主成分正是通过对协方差矩阵进行特征值分解得到的。特征值代表对应主成分的方差,特征向量指示主成分的方向。我常用PCA来压缩高维特征,比如图像数据,在尽可能保留信息的前提下大幅减少计算量。
- 多元高斯分布:描述多个相关联随机变量的分布时,协方差矩阵定义了各个维度之间的“形状”关系。对角线元素控制每个维度的“胖瘦”,非对角线元素控制它们的“倾斜”程度。
- 马氏距离:这是一种考虑了特征间相关性的距离度量。在异常检测中,比起普通的欧氏距离,马氏距离能更准确地识别出在特征联合分布中真正的“离群点”,因为它用到了协方差矩阵的逆来标准化距离。
理解协方差矩阵,相当于拿到了一把打开高维数据关系大门的钥匙。它让你从看待一个个孤立的特征,升级到审视整个特征空间的结构。
5. 实战串联:用一个案例打通任督二脉
光说不练假把式。我们用一个完整的、贴近实际的案例,把期望、方差、协方差和协方差矩阵全部串起来。假设你在一家房地产数据公司,手头有一份波士顿房价数据集(这里我们用sklearn内置的简化版示例),任务是初步探索数据,为后续建模做准备。
import numpy as np
import pandas as pd
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt
# 加载数据
boston = load_boston()
df = pd.DataFrame(boston.data, columns=boston.feature_names)
df[‘PRICE’] = boston.target # 房价,我们的目标变量
print(“数据形状:”, df.shape)
print(“\n前几行数据:\n”, df.head())
第一步:计算关键特征的期望(均值)与方差
我们先关注两个可能重要的特征:RM(每套住宅的平均房间数)和LSTAT(低收入人群比例)。
# 计算期望(样本均值)和方差(无偏估计)
rm_mean, rm_var = df[‘RM’].mean(), df[‘RM’].var(ddof=1)
lstat_mean, lstat_var = df[‘LSTAT’].mean(), df[‘LSTAT’].var(ddof=1)
print(f“特征 ‘RM’ (房间数): 均值 = {rm_mean:.3f}, 方差 = {rm_var:.3f}”)
print(f“特征 ‘LSTAT’ (低收入比例): 均值 = {lstat_mean:.3f}, 方差 = {lstat_var:.3f}”)
从方差大小,你能直观感受到LSTAT的波动范围比RM大得多。这意味着LSTAT这个特征在不同区域差异显著,可能对房价有很强的影响力。
第二步:分析特征与目标的相关性
我们想知道RM和LSTAT哪个与房价PRICE的关系更紧密?这时先计算协方差和相关系数。
# 计算协方差和相关系数
cov_rm_price = df[‘RM’].cov(df[‘PRICE’])
cov_lstat_price = df[‘LSTAT’].cov(df[‘PRICE’])
corr_rm_price = df[‘RM’].corr(df[‘PRICE’])
corr_lstat_price = df[‘LSTAT’].corr(df[‘PRICE’])
print(f“‘RM’与‘PRICE’的协方差:{cov_rm_price:.3f}, 相关系数:{corr_rm_price:.3f}”)
print(f“‘LSTAT’与‘PRICE’的协方差:{cov_lstat_price:.3f}, 相关系数:{corr_lstat_price:.3f}”)
你会发现,RM和房价是正相关(房间越多,房价越高),LSTAT和房价是负相关(低收入比例越高,房价越低)。而且通过相关系数(比如0.7和-0.74),可以定量比较出LSTAT与房价的线性关系似乎略强于RM。这个结论可以直接指导特征筛选:这两个都是强相关特征,应该保留。
第三步:考察特征间的多重共线性
如果两个特征之间高度相关,同时放入模型可能会引发问题。我们检查一下RM和LSTAT本身的关系。
corr_rm_lstat = df[‘RM’].corr(df[‘LSTAT’])
print(f“‘RM’与‘LSTAT’的相关系数:{corr_rm_lstat:.3f}”)
如果这个值绝对值很大(例如>0.8),说明它们共线性强,可能需要考虑只保留其中一个,或者使用PCA提取新特征。
第四步:构建协方差矩阵,全面审视数据关系 最后,我们选取几个核心特征,看看它们整体的协方差结构。
selected_features = [‘RM’, ‘LSTAT’, ‘PTRATIO’ (师生比), ‘PRICE’]
cov_matrix_selected = df[selected_features].cov()
corr_matrix_selected = df[selected_features].corr()
print(“选定特征的协方差矩阵:\n”, cov_matrix_selected)
print(“\n选定特征的相关系数矩阵:\n”, corr_matrix_selected)
# 可视化相关系数矩阵
plt.figure(figsize=(8, 6))
plt.imshow(corr_matrix_selected, cmap=‘coolwarm’, interpolation=‘nearest’, vmin=-1, vmax=1)
plt.colorbar()
plt.xticks(range(len(selected_features)), selected_features, rotation=45)
plt.yticks(range(len(selected_features)), selected_features)
plt.title(‘特征间相关系数热力图’)
plt.show()
热力图能让你一眼看出所有特征对的关联强度。深红色代表强正相关,深蓝色代表强负相关,浅色代表弱相关。这张图是数据探索阶段最有力的工具之一,它能帮你快速形成对数据集整体关系的直觉。
走完这个流程,你就完成了一次从单点统计量(期望、方差)到关系度量(协方差、相关系数),再到全局结构把握(协方差矩阵)的完整数据分析循环。这些不再是书本上枯燥的公式,而是你手中有血有肉、能直接产生业务洞察的利器。在实际项目中,我习惯在建模前先花时间做这样一番探索,对数据“手感”好了,后面模型调优的方向才会更清晰。
215



被折叠的 条评论
为什么被折叠?



