ABTest之简介

前言

 A/B Test是互联网数据分析必备的知识点，本文主要整理网上的一些资料，简述A/B Test的主要流程和一些需要注意的地方。
 
详见：什么是A/B Test

一、收集指标，建立指标体系

 一般A/B实验指标体系需要三类实验指标：
   1、核心指标：这种指标是决定实验成败的关键指标
   2、辅助指标：用于辅助判断实验对其他因素的影响
   3、反向指标：实验可能产生负面影响的指标
 反向指标的作用是提示实验可能的负面影响,如果负面影响太高，即使其他指标通过，也可以否决实验结果

二、分配流量，AA实验

 实际A/B实验中可能出现抽样不均的情况，结果可能会产生偏差，为了保证实验数据的变化仅仅是实验本身引起的，可以一次性抽取4,5组流量，选择任意两组不加策略空跑，监控核心指标数据，选取两组数据最接近的进行实验（控制变量）
 
 对于不同的情况，有不同的分配流量的策略：

• 不影响用户体验：如UI 实验、文案类实验等，一般可以均匀分配流量实验，可以快速得到实验结论
• 不确定性较强的实验：如产品新功能上线，一般需小流量实验，尽量减小用户体验影响，在允许的时间内得到结论
• 希望收益最大化的实验：如运营活动等，尽可能将效果最大化，一般需要大流量实验，留出小部分对照组用于评估 ROI
  

三、假设检验

 （1