18、产品开发的实验性方法：以 A/B 测试为例

产品开发的实验性方法：以 A/B 测试为例

1. 实验性方法概述

在产品开发中，实验性方法是一种重要的手段。其实验的关键成果是获取信息，旨在减少对所提议的工作是否能达到目标条件的不确定性。这种方法在很多方面是测试驱动开发的延伸，例如 Chris Matts 提出的特征注入概念就与之类似。

实验有多种开展方式，但要注意，实验常常会得出负面或不确定的结果，特别是在不确定的情况下。这意味着我们通常需要调整、完善和发展假设，或者设计新的实验来进行验证。

实验性方法的关键在于，在进行重大新开发工作之前，先创建假设，以确定工作是否能带来预期价值。

2. 在线控制实验（A/B 测试）

对于基于互联网的服务，我们可以使用强大的在线控制实验，即 A/B 测试来验证假设。A/B 测试是一种随机、受控的实验，用于发现网页的两个可能版本中哪个能产生更好的结果。

具体操作步骤如下：
- 准备页面的两个版本：一个对照组（通常是页面的现有版本）和一个要测试的新版本。
- 当用户首次访问网站时，系统决定该用户参与哪些实验，并随机选择用户查看对照组（A）还是新版本（B）。
- 尽可能多地记录用户与系统的交互，以检测对照组和新版本之间的行为差异。

3. 多数好想法实际价值为零或负

A/B 测试揭示了一个令人惊讶的结果：许多看似很棒的想法实际上并不能提升价值，而且事先很难区分哪些是糟糕的想法。Ronny Kohavi 的研究表明，60% - 90% 的想法无法改善其预期要提升的指标。

如果在完全开发新想法之前不进行实验测试，大约三分之二的工作对客户来说可能没有价