产品优化成果过关？监控数据说了算

本文基于神策数据推出的《数据驱动下的产品决策》在线课程数据分析师演讲进行整理。

---

张小龙曾经说：“产品是研究人性，不是研究逻辑。”

那么产品是否没有权责边界？改进是否没有对错优劣？并非如此，需求决定了产品优化的方向，而量化需求的指标同样可以用来量化产品改进。

驱动利器：数据驱动下的产品决策（上）表明，数据驱动产品改进主要贯穿于三个阶段：探寻、测试和验证。数据驱动下的产品决策（中）通过一个现象级案例的故事，举例介绍了如何探寻到产品改进切入点，并进行改进。本篇作为收尾之作，延续中篇案例，介绍测试和验证的数据分析方法。 

数据驱动产品的第二阶段是测试环节，由于逻辑与第三阶段相同，本文不再赘述。第三阶段是验证环节，主要作用是对改版后的新功能是否有效进行评估。

验证落地页改版效果

图1 落地页改进验证策略

产品改进需要依照改进目的和新功能的具体内容，找到合理的验证指标，如下：

• 落地页结构是否发生变化，如果结构发生变化，可能会直接影响数据，验证失去意义；

• 跳出率有没有降低；

• 用户结构有没有变化。

首先通过检测得知，落地页结构没有发生变化，仍然是答主页和问题页占了绝大多数，随后发现七日内跳出率相差了 35%，一次性用户也有了 25% 的减少，数据表明落地页改版效果非常明显。

验证首页改版效果

图2 首页改进策略

首页改进有两个目的：

• 提升问题的消费量，尤其是主推的免费内容消费量；

• 改变用户的消费习惯，分流用户从首页入口消费，让首页起到作用。

首页改进有三个验证指标：

• 免费/付费问题的日均消费量和消费占比；

• 问题消费主要页面的分布变化；

• 首页到消费问题的转化率变化，浏览首页的人有多少消费了问题。

根据日均消费量的统计图，改版后日均消费量 3800 相比改版前的 1000，有了非常大幅度的提升，当然付费问题也不可避免受到了约五分之一的冲击。这里需要产品经理根据当前业务需求进行评估，如果这样的结果是可以接受的，那么改版就是成功的。

图3 首页 7 日问题消费主要来源页面评估

根据上图对 7 日问题消费的主要来源页面的分析，发现改版前消费主要来源于直接点击，占比 45%，而改版后个性化推荐用户占比提升至 33%，这意味着从落地页进入产品的用户有很多都愿意点击个性化推荐模块，对免费内容进行消费；首页提升占比至 27%，说明首页消费也得到了提升；从绝对数据来看，所有数据都有所提升。

图4 改版前后用户在首页点进问题卡片并消费的转化率

首页点进问题卡片并消费的转化率相对改版前有明显的上升，这是由于首页承载了更多的免费内容，且大部分都分布在第一屏或第二屏，因此用户的转化意愿大大增强。

如果追求更细致的验证，可以通过数据对比免费功能的体验是否对付费形成大幅度冲击，这才是最根本的目标，因为免费内容的提供也是为了更高的留存，最终将他们转化为付费用户。

答主答题量是否提升

图5 答主答题量验证策略

对答主答题量的改进主要有三个目的：

• 提升答题人数；

• 减少答主被提问的马太效应；

• 减小答主问题被消费的马太效应；

简单介绍前两个验证指标：

• 答主日均答题人数；

• 被提问答主的分布。

图6 答题人数与用户分布对比

根据上图，7 日日均答主答题人数从 200 增加到了 400，提高了 100%，被提问的答主的分布也有所改变，改版前大 V 与普通用户被提问的比例达到了 9：1，改版后相对更加合理，变成了 7：3，马太效应有了显著的减弱。

对新功能的评估

图7 新功能评估策略

本文中篇共改版了四个新功能：

• 关注引导；

• 重新规划推荐位；

• 增加 UGC 的讨论功能；

• 增加 UGC 的新手提问功能。

对新功能评估，需要关注四个评估指标：

• 功能的使用率和使用深度；

• 功能相关的转化率；

• 使用功能的人群分布，分别是答主、提问者、新用户还是老用户，分别对产品有不同的意义；

• 新功能对用户粘性和付费转化有什么作用。

如果新功能比较多，需要对新功能建立一个评估的指标体系，将新功能的效果分为使用得分和功能价值得分。

使用得分与使用频率和使用深度两个方面直接相关，通过两个方面的评估得出总使用得分。

价值得分有粘性价值、交易价值、内容价值三个方面，粘性价值与用户留存相关，交易价值与用户付费转化有关，内容价值与促进用户生产内容有关。通过对三个方面的分别评估得出功能价值得分。示例图如下，我们可以看到功能价值总分最高的是关注引导功能，每一个新功能对优化产品的贡献方向不同，而推荐功能在三个方面均不突出。

图8 新功能价值得分示意图

将使用得分和价值得分结合，可以制成更直观的象限图：

图9 新功能使用得分和价值得分象限图

纵轴是价值得分，横轴是使用得分，推荐和首页新手提问功能使用得分高，但是价值得分低，通过象限图，业务人员可以确定以后的优化目标是增加这两项功能的价值表现。对于关注功能来说，价值得分很高，使用得分偏低，所以今后优化方向可以定为扩大使用面；讨论功能在两方面都差强人意，所以可能需要考虑这个功能的必要性。

从中篇和下篇的大型现象级产品示例 WEB 版的数据分析过程中，相信你也可以将对数据驱动产品决策的方法认知转化为更加具象的思维。APP 版产品的数据分析指标可能相对有所差异，如用户结构不同，行为方式不同，用户主要触达首页，这些会导致完全不一样的评估方案。但是拥有数据驱动的思维，就可以找到自己真正的评估方式。

如果您想下载本期驱动利器干货PPT，请点击下方“阅读原文”，填写申请表单。