7、统计推断：网站停留时间测试的综合分析

统计推断：网站停留时间测试的综合分析

1. 假设检验基础

假设检验是一种统计方法，它假定原假设（null hypothesis，记为 H0）为真，直到有足够的证据表明该假设不太可能成立。这种“反向”寻找证据的方式部分源于一个简单的心理事实：人们在寻找某样东西时，往往容易找到支持自己想法的证据。

研究人员随后会形成一个备择假设（alternative hypothesis，记为 H1）。备择假设可以有多种形式，例如总体均值与基线不同，或者总体均值大于或小于基线，甚至可以是大于或小于某个特定值。

以测试新网站是否能增加用户停留时间为例，我们的原假设和备择假设如下：
- H0：新网站的用户停留时间与现有网站的停留时间没有差异。
- H1：新网站的用户停留时间比现有网站的停留时间更长。

我们采取保守假设，即新网站对用户停留时间没有影响。原假设不一定是零效应假设，但在这种情况下，我们没有合理的理由做出其他假设。如果样本数据不支持原假设（即数据与原假设的预测差异过大，不太可能是偶然因素导致的），我们将拒绝原假设，并提出备择假设作为最佳解释。

2. 显著性水平

显著性检验最初是独立于假设检验发展起来的，但现在这两种方法经常一起使用。显著性检验的目的是设定一个阈值，当观察到的数据超出这个阈值时，我们就认为数据不再支持原假设。

在进行显著性检验时，存在两种风险：
- 第一类错误（Type I error）：当实际上差异是由偶然因素引起时，我们却将其视为显著差异。
- 第二类错误（Type II error）：当实际上存在真实的总体差异时，我们却将差异归因于偶然因素。