干货下载 | 评估产品增长，勿陷入“土著思维”

本文根据近期杏树林医疗负责人孙文亮，在以“数据分析如何应用于产品和业务流程的优化”为主题的北京沙龙活动，演讲内容整理所得。

---

在二战期间，美军在南太平洋的一个小岛上造了一座空军基地，当地土著从没见过这种高科技，只知道有很多只“大鸟”飞过天空，并空投玉米等粮食。战争结束后，飞机随着军队的离开被遗弃了。因为土著们再也没有见到空投的货物，为吸引“大鸟”回来，他们就按照族群里的先知所理解的，用木头、树叶搭了一个假机场，甚至做了高塔、木头对讲机等，即使机场拟真度很高，但大鸟并没有回来……

数据驱动大行其道，在数据驱动的践行道路上，许多公司也像土著群体一样，跟着牛 X 公司学习。为此构建了复杂的数据系统、五花八门的指标、成百上千的自动报表。杏树林曾经也是其中一家公司，千方百计地朝着看似十分“正确”的事，却始终无法“吸引大鸟”——实现数据驱动。

在杏树林践行数据驱动的过程中，我们进行了反思，如“定义指标有指导意义吗？”、“报表有人看吗？他们是如何使数据的？”等等。在实现数据驱动的过程中，一切数据分析莫忘目标是“吸引‘大鸟’，要粮食”。企业在追求“粮食”的过程中，“评估”是重要工作，是数据驱动的聚焦点。

▌土著思维与科学思维，如何吸引“大鸟”？

什么是评估？简言之就是做了什么，结果如何？详细地说，即针对业务的每个假设和决策，给予高效、客观、全面的数据反馈，从而实现数据驱动。科学评估分为选定指标、方案实施、归因分析三个步骤，数据分析师要了解每个步骤的产出物是什么。

土著思维在企业数据分析比比皆是。下面重点对比土著思维与科学思维在选定指标、归因分析中的差异。

不同思维下的选定指标

土著思维下的评估关注了繁杂的大量指标，做了很多事情，但是缺乏一致性。

这是一个典型的土著思维下的指标选定：我们简化了注册流程，因此增加了注册转化率；我们增加列表页入口，因此提升了列表详情页的访问量……随着产品的不断优化与迭代，如此不停地进行评估。

然而，每次产品迭代选择的指标都是不一致的，换句话，我们一直在讨论树枝搭建的多么像一座“机场”，然而并没有讨论‘粮食’这一核心问题？因此，这并不科学。

那么，科学思维下，如何选定指标？

只有保证指标的一致性，才能知道“粮食”在哪。如何选择一致性的指标？按照客户的选购流程的漏斗，不妨将指标直接设定为漏斗的最底端，每次评估都拿这个指标来衡量。

我们后来将一致性指标定为了“周支付人数”，同时将优化行为对增长效果进行分级，未增长是零级，若实现两位数的增长即“二级”，若实现三位数的增长即“三级”……如此，一个季度下来，企业就能够科学评估增长的程度。

不同指标下的归因分析

2017 年 2 月，杏树林进行了一场糖尿病患者招募，患者可以免费用药。在这个活动中，杏树林重要用户群——医生可以推荐患者，即填写推荐表格，杏树林核实患者入组后，将医生奖励金打到医生病历夹账户。

面对“招募的患者人数提升”的结果，土著思维与科学思维有较大差异。

土著思维是这样的：单纯认为医生录入患者信息是很麻烦的事，所以要尽力减少医生的工作量。为了方便医生录入，运营人员对此做了改进。经过改进后，招募人数果然变多。因此产品同学认为，之前的假设与优化都是正确的。

然而，真的是这样的吗？

科学思维下的归因分析则有显著不同：通过对医生转化全流程（列表页→详情页→录入患者）的精细化分析，我们发现：

（1）  实际上录入率其实并未发生改变；

（2）  列表页到详情页的转化率提升。

那么，为什么录入率并未改变，招募患者的数量变多了呢？经过深入了解，原来是前端的同学对列表页 UI 进行了优化，我们可以判定，之前分析逻辑并不成立——医生录入麻烦并不会影响招募患者人数（经过一系列优化后，医生录入率未发生改变，且由于医生录入患者信息会有一定的折扣，这对医生也有一定吸引力），而极可能是因为医生身边没有合适的患者。因此，我们下一步引导医生在线转发给患者。

 

▌三项原则保证评估科学性

进行科学评估，要有“预期”和“结果”、“局部指标”和“整体指标”、“离散”和“连续”的对比，这是产品进行评估的三原则，而不是笼统的说“我们本季度要完成 30 份分析报告，要分析各种维度，要对业务有价值。”下面通过举例来解释这三项原则。

第一，预期 VS.结果：先有预期，再谈结果；

无预期，就如同“拍脑袋”做决定。下面以不同科室的模板上线举例。

土著思维下是这样的：团队没有任何预期，单纯认为“不同科室不同医生所记录的内容有一定差异”。产品优化后，的确留存率会变高。

科学思维是这样的：上线前，新模板以提升医生体验为目标，预计留存率会 3%-5% 的涨幅。上线后，留存率的确涨了，通过进一步观察发现，只是老用户变了，而新用户未变。因此，下一步重点进行新用户引导。

总之，一定要事先有预期。在杏树林内部，为了促进大家对每次优化与改进都有所预期，举办了“数据猜猜猜”的活动——每次产品在线之前，公司内部都会进行大规模的竞猜，产品和运营等团队都参与进来，现在各团队对产品上线的最终效果都充满期待。

第二，局部 VS.整体：聚焦关键指标，避免一叶障目；

土著思维将聚焦点放在产品功能点的改进所带来增长上；科学的数据评估，不应局限于单一的结果指标，避免一叶障目，紧盯关键目标，以此为核心衡量你的工作是否有效。

第三，离散 VS.连续：保证评估连续性，避免打一枪换一地。

许多企业有大量的评估报告，目标零散的评估报告是数据分析的大忌，每一份分析报告都应该指向企业发展当前阶段最关键指标，具有一定连续性、统一性的数据分析报告，才能具有可比性，才能为企业提供指导作用。

 

▌三个技巧提升评估效率

以下三个技巧可以提高评估效率。

第一， 要做好埋点工作。

埋点方案设计要与产品设计同步。避免上线后再谈需求、重新埋点造成效率低下；要防止过度设计，也要防止遗漏。回归测试保障历史埋点——有些企业没有回归测试能力，杏树林通过定期监控神策分析的“埋点管理”解决了这一问题。

第二，构建指标工具箱。

每一家企业根据业务不同、发展阶段不同，构建的指标工具箱应该有所差异，这点非常重要。关于指标的选择，有两点说明：a .不能启发我们采取行动的指标，都是错误指标（虚荣指标）；b.好的指标具有及时性、易理解等特点。

第三， 用好分析工具。

杏树林将市面上所有的数据分析产品经过了比较与测试，神策数据被证明是实时性最强的，杏树林在产品上线前，就根据数据指标提前设好看板（数据概览），上线 1 秒即可获得全面的反馈，时时提醒你“飞机来了吗，粮食来了吗？”评估效率非常高。

▌评估的终极形态：平台化、基础化

Facebook 广告系统做的非常赞，与国内的许多平台的不同之处在于，他要先了解企业的“目的是什么”——“你的飞机是什么”，Facebook 会根据不同目标设定不同指标与不同方案。Facebook 广告系统具有实时、全面评估的效果，甚至在投放广告三四个小时内，企业能够进行 20～30 次优化，将投资回报率达到最高。

Facebook 对内的增长平台能够方便、快捷的科学实验，同时超过 1000 个版本进行在线测试，每个月大约有一万次实验，正如 Facebook 创始人兼首席执行官马克·扎克伯格（Mark Elliot Zuckerberg）说：“把运营公司当作一场科学实验。”

综上所述，企业在数据驱动分析过程中，不要做土著，警惕看似正确的事情，坚持科学思维，随时准备被现实打脸，勇于承认“我错了”。

如果想了解更多干货，欢迎关注本公众号（神策数据），点击“阅读原文”，即可获取本文干货PPT~