假设检验与 A/B Test

最新推荐文章于 2025-02-13 18:35:34 发布

原创最新推荐文章于 2025-02-13 18:35:34 发布 · 925 阅读

2 ·

CC 4.0 BY-SA版权

产品思维同时被 2 个专栏收录

2 篇文章

订阅专栏

统计学

2 篇文章

订阅专栏

本文深入解析置信区间、置信度概念及假设检验步骤，区分两类错误，详解A/B测试流程与统计学知识，助你掌握实验设计与数据分析技巧。

置信区间和置信度你了解吗？

在假设检验的过程中，我们往往使用样本来估计总体。根据中心极限定理，我们知道从总体中进行N次样本抽取，N次样本的均值会围绕总体均值上下波动。因此，置信区间就是为总体的均值提供了一个可波动的范围，置信度就是我们对于这个数值存在于我们计算出的这个范围的可信程度。例如，在95%的置信度下，置信区间为[a,b]，也就是说，抽取100次样本，其中约有95次样本的均值能够落在[a,b]范围内。”

假设检验的步骤？

第一步，提出两个假设。原假设是（）；备择假设命题是（）。

第二步，构造统计量。

第三步，确定显著性水平（），确定拒绝域。

第四步，求出p值（小于或者等于拒绝域向上的一个样本数值的概率）。

第五步：如设定显著性水平 α = 0.05，统计结果为 p ≤ 0.05，则推翻了原假设，证明在该显著性水平下，接受备择假设。

假设检验的错误类型？

类型I: 在给定原假设是正确的情况下拒绝原假设的概率(False positive)
α = P(reject H0 | H0 true) 拒真

类型II: 在给定备择假设是正确的情况下接受原假设的概率(False negative)
β = P(accept H0 | H1 true) 取伪

假设检验怎么选择统计量？
相关知识
相关公式
A/B test是什么

A/B Test 是一种将网页或APP的两个版本相互比较以确定哪个版本的性能更好的方法。

实际工作中，我们会遇到很多情况需要我们评估各种不同的方案，以及应该采用哪些策略来测试我们的产品或广告。A/B Test 就是一个帮我们选出更好的方案的办法。
当进行A/B测试时，A组是对照组，B组是实验组，B组在某个因素上与A组不同。
然后，把用户随机地分到这两组，比较这两组的用户行为是否有显著的差异。如果有，那我们就会认为，导致这个行为差异的原因，是B组里的那个与A组不同的因素。如果B组的用户产生了更多的购买行为，我们就可以下结论：B组中那个与A组不同的因素能够显著提高用户的购买行为。

A/B test工作原理

在 A/B Test 中，你可以设置访问网页或应用程序屏幕并对其进行修改以创建同一页面的第二个版本。然后，一半的流量显示页面的原始版本（称为控件），另一半显示页面的修改版本（称为变体）。
当用户访问页面时，利用埋点可以对用户点击行为数据采集，并通过统计引擎进行分析（进行A/B test）。然后，就可以确定这种更改（变体）对于给定的指标（如用户点击率CTR）是否产生显著性影响。

进行A/B test的目的是什么

A/B test可以让个人、团队和公司通过用户行为结果数据不断对其用户体验进行仔细更改。这允许他们构建假设，并更好地了解为什么修改的某些元素会影响用户行为。这些假设可能被证明是错误的，也就是说他们对特定目标的最佳体验的个人或团队想法利用A/B test证明对用户来说是行不通的，当然也可能证明是正确的。

所以说 A/B test不仅仅是解决一次分歧的对比，A/B test可以持续使用，以不断改善用户的体验，改善某一目标，如随着时间推移的转换率。