从零开始的游戏运营数据分析生活？如何构建数据分析的逻辑框架？

5月30日，数数课堂特邀盛趣游戏数据分析专家黎湘艳老师坐镇第五期直播。

黎湘艳老师向学员们分享了历经超50多款产品沉淀下来的数据分析思维，让大家对数据分析的岗位理解从一个日常节点，展开成为可以预测产品、行业走向的方向标。

/以下为直播当天文字实录/

---

我在《游戏数据分析实战》开头写的第一句话是：

“作为数据分析师，最大的成就感莫过于自己的分析报告推动了业务的开展，并在业务开展过程中证实了其合理性，这也正是数据分析师的价值所在。”

今天的课程中我将讲述：作为一名分析师，如何构建自己的分析体系，让自己的数据分析结果，成为可以切实推动业务发展的驱动力。

下面是今天的课程内容：

 

01 数据为治之而非统之

我平时做过很多驱动业务的工作，主要围绕产品、市场和运营三大业务场景。我的工作分别为游戏、IP引进把关、为游戏立项把关、为游戏研发把关、为资源投放把关、为市场营销把关、为游戏运营把关。

 

1.IP把关I IP引进价值分析、引进/自研游戏成功率预测

当公司要引进一个IP时，我们通常都会先对IP的价值进行分析（包含用户价值，商业价值，内容价值，战略价值）。

我们会评估该IP是否值得引进，引进的价格区间是多少。例如我们之前想引进一个日本市场的国民级IP，但是经过一系列调查，发现这个IP在中国市场算一个小众IP。除此之外，我们内部还有一个新游戏成功率模型， 可以根据新游戏的相关信息进行成功率预测。

2.立项把关I 精准定位目标用户，评估不同研发方案的利弊，预估靠谱流水

“精准定位目标用户”的目的是要做“精准开发”，首先要知道我们的目标用户有哪些，找到用户未满足的需求，做到极致。我们一般通过爬虫的数据、问卷调研的数据、竞品游戏的数据，以及整个市场的数据来分析。

比如：策划组纠结是做MOBA竞技玩法、吃鸡玩法，还是考虑融合Roguelike+关卡自适应功能等等，我们通常会分析各种玩法的利弊。当研发方向确定时，我们会预估相应流水等等，这些都是为游戏立项把关。

3.研发把关I 个性埋点，点对点找出问题；付费模块、爆率设计的优化

在游戏研发阶段，我们会拉策划对齐整个测试的数据预期，发现不符合预期的地方，和策划一起定位问题。比如，他们对于玩法、养成、商业化、职业等游戏玩法的预期参与度是多少？策划有什么样的预期和关注点。

然后我们会重点监控这几个模块的数据，发现不符合预期的地方，就拉着策划一起定位问题，比如玩法参与率发现十分不符合预期，那就去分析用户行为，用户属性。

我们数据分析师的宗旨是：“针对具体的病治病，不做纲领性建议。”

4.投入把关I 评估产品质量；构造收入、活跃预测框架和模型，优化买量

游戏测试阶段，可以根据游戏数据进行产品质量评级，给出最优市场投放建议，也会分析买量的效果数据，为买量优化提供数据参考。

关于市场把关及运营把关，我在《数数课堂·第四期 I 一个运营人的数据分析成长史》有过详细的介绍，感兴趣的朋友可以去看看。

02 数据分析的“六脉神剑”

数据分析的定义就是从数据中提取有用的信息，并指导实践。下面我举一个例子来梳理一下具体流程：

需求背景：某游戏进行版本更新，在版本更新节点进行了视频和微博投放，需要对投放效果进行分析。

 

1.明确需求

首先要明确这次分析的需求就是看投入的游戏数据有哪些变化，投放的ROI是多少。

2.收集数据

从公司内部数据库可以收集到人数、收入、留存等数据，从公司外部（微博、视频网站）可以收集到点击量、评论数、弹幕和评论内容数据。

3.处理数据

处理数据就是采用适当的统计方法对收集的数据继续清洗，提取有用的信息和规律。常用手段有，sql统计用户留存、等级、用户数、收入等数据，或者用python爬取外部数据。

4.分析数据

主要采用对比法、分组法、结构分析法、文本分析法，得出广告投放前后的数据变化，视频类投放和微博类投放的效果差异，以及用户评论的关键信息。

5.展现数据

买量投放需要用到折线图展现人数和收入的变化、柱状图展现微博和视频投放的效果差异，用词云图展示玩家评论的关键信息。

6.报告撰写

有标题，导语，结论和详细分析四部分。这篇报告，我们一般会在开头就给出核心结论，活动投入多少，带来多少新增，跟活动前相比有什么变化，带来了多少收益，新用户成本是多少，ROI是多少。

03 数据分析≠数据驱动业务

如果要实现数据驱动业务，不论是模型，还是数据分析结论，其结果都要进行评估。

评估下来其结论是合理、可用的，项目团队会将其作为进行运营、市场活动方案设计的决策参考依据之一。如果不可以用，则分析师需要重新梳理需求，按上述过程重新走一遍。

数据是否能对项目真正产生积极影响，取决于数据结论是否能击中业务痛点以及报告对象对数据的重视程度。

 

比如说：

1.预热期的用户调研能找到目标用户的特点，促使发行人员会参考分析报告结果确定时间、地点及宣传方式；

2.封测期间的用户调研能了解用户对游戏各项功能的体验评价及相关建议，促使研发人员采纳，以数据反哺研发；

3.测算最优市场费用能帮助项目合理分配资源，避免资源浪费；

4.市场投放效果分析能监控广告投放效果数据并分析各媒体的特性，促使发行人员通过数据去发现问题，调配资源，使其效果最大化；

5.流失用户分析能找到用户流失点，促使研发人员根据数据来优化游戏；

6.付费习惯分析能找到付费用户的特点，促使运营人员根据数据制定相关的活动，从而吸引更多的人来付费。

总体而言，数据是否会产生积极影响不在于数据本身，而在使用数据的人。如果数据分析师做的分析报告或模型没有经过评估，其数据结论或建议没有得到业务方的使用或帮助业务方决策，那么其工作只是做了数据分析的基本工作，并没有实现数据驱动业务。

04 核心数据指标

一家公司有了数据分析体系，就能更有效率的支持业务，但想要构建全面的数据分析体系，首先要找到对你的业务最核心、最关键的数据指标。

“指标是对业务质量进行衡量的标准，也能指导内部产品、市场、运营的工作。”一般来说，每个行业都有其核心数据指标。

比如互联网电商行业的商品点击率、购买率、退货率、客单价可能是他们关注的主要指标；而游戏行业，转化率、留存率、付费率、ARPU、ARPPU、CPC、CPA、CPR、CPL、LTV 和ROI是我们重点关注的指标。

 

除此之外，还有新增用户数、活跃用户数、收入等等，这些都是数据指标，这里我就重点来说举例说明下需要计算才能得出的这些关键的指标。

1.留存率

可分为“每日留存率”和“加权留存率”。通过这张表我们可以看到，次日留存率就是指新用户在首次登录后在第二天再次登录游戏的比例。

 

次日加权留存率指的是某一段时间内的新增用户在第二天的留存数量除以这段时间段内的新增用户总量。

PS：为什么要用加权留存率？

使用加权留存率的原因是，当人数变化大时，数据会产生偏差，加权之后数据更稳定。比如：第一天新用户100人，次留50%，第二天新用户10人，次留90%， 那我们说这款游戏的次留是多少，是50%？还是90%？还是取平均值70%，还是取加权值53.64%？答案是取加强留存率53.64%。

图中下面的那张表，是根据历史游戏的测试数据得出的留存率与游戏质量的关系，大家可以参考一下。当然，不同类型的留存率是有差异的，这里并没有做区分，能做一个大致的参考。

2.CPL

我收集了近40款端游和30款手游开测节点的CPL数据，得出2008-2019年广告投放CPL变化趋势，供大家参考。

 

说明下，可以将CPL理解成买量成本，但是不同的类型游戏的买量成本差异很大，比如卡牌游戏买量成本可能只有20元，MMO游戏的买量成本可能超过200元。这里取的是样本游戏的平均值，重点是想给大家看一个趋势。

3.LTV & CPA

这里列举了某游戏公测投放期用户导入成本与收益数据。

 

从这张图可以看出：

（1）9月10日～23日，LTV(在这里用arpu表示了)远高于CPA，说明用户收益高于用户成本，效果较为理想；

（2）10月1日～8日，进行分众框架楼宇广告投放，LTV远低于CPA，说明用户收益低于用户成本，效果不理想。

另外我们看到用户的30天ARPU曲线和60天曲线非常接近，几乎重合，说明这款游戏的长留存很低，用户生命周期很短。

LTV是非常重要的数据，是买量的指南针。一旦LTV（也就是用户在游戏中的价值）大于买量成本，就意味着产品已经回本。大家在计算的时候，要考虑到渠道分成。比如用户终身LTV是200，买量成本也是200，如果有渠道分成（假设是50%），那我们的收益其实只有100，是小于200的买量成本。

4.ROI(投资回报率)

这里列举了某款游戏在iOS渠道买量的投放效果。

 

从这张图可以看出，市场投放5天内ROI 51%，30天内ROI 71%，55天内ROI 75%，近3个月仍没有收回成本，30天后的ROI日趋平稳，预计后续ROI不会高于80% 。数据分析的工作不是总结历史和预测未来嘛，这就是预测未来的一个案例，提早告诉领导，这次投放是否能收回成本。

05 常用数据指标

前面提到了关键的数据指标，我们现在来看一下日常分析过程中要用到的指标，这些数据指标尽管没有核心数据指标那么重要，但是它们是协助我们深挖核心数据指标动态变化规律的重要参考：

 

1.收入指标

我们做收入分析的时候，会关注有多少人付费，付费金额有多少，付费率，ARPPU、ARPU，最后通过这些收入，以及相应的成本计算，可以给我们带来多少利润率。

2.活动效果分析

不管是线上活动还是线下活动，我们会关注活动参与人数、参与次数、参与比例，活动转化率。（有多少人转化为付费用户等）

3.渠道分析

我通常会用综合评价法来分析渠道的综合排名，其中就会用到新增用户、活跃用户、付费金额、留存率、ARPU、LTV等等这些指标。当然，我们知道渠道的作用主要是拉新的，所以我们首先要考察的是渠道带来的新增用户数是多少，然后再看这些用户的留存、付费、LTV等，来判断渠道的用户质量好不好。

我们做买量的时候，就会要经常分析渠道的用户，哪个渠道的用户少了、质量差了，就要第一时间反馈。最后看ROI，基本上就是根据LTV和买量成本的关系来计算。

4.用户类型指标

我们在给用户做分析的时候，会关注他是新用户还是老用户、是活跃用户还是流失用户，或者是流失回归用户，也可以根据用户来源判断他是MMO用户还是卡牌用户等等。

5.广告投放效果指标

投放金额金额、曝光数、CPM（千人成本，平均每一千人分别听到或者看到某广告一次一共需要多少广告成本）、点击数、点击率、转化率、CPL、ROI

6.用户价值指标

是指用户在游戏中的价值，如果要看总价值，直接看LTV就可以。但是如果要将用户价值细分，可以用到RFM模型中的三个指标：分别是最近一次充值时间、充值频率、充值金额、LTV等。请大家注意，但凡是有投入，有成本的地方，我们都会关注ROI这里只是列举了常用分析指标，在实际工作中，会遇到很多很多的指标。

06 构建全面的数据分析体系

我以用户和收入相关因素拆解指标的两个案例为例，来梳理我在分析过程中是如何通过相关因素拆解来做数据分析的。

▍版本更新

版本更新效果好不好，主要看两个数据：人数&收入。

人数和收入有没有增加以及增加了多少是运营最关心的问题。那么由人数和收入展开来分析，就有很多细分的维度。

 

比如：

1.活跃用户人数上涨

• 是新用户涨了还是老用户涨了？
• 如果是新用户，那么是广告带来的还是自然增长的？
• 广告带来的用户和自然新增的用户留存率是多少？
• 对比可分析出广告用户的质量，广告带来的用户CPL和ROI是多少？多久能收回成本？
• 自然新增用户是否有除了版本以外的运营活动刺激？
• 如果有，和历次活动效果对比有哪些差异？
• 老用户里面，有多少是活跃的老用户？有多少是流失回归的老用户？回归率是多少？
• 跟之前短信召回、版本相比，回归率是否有提升？

2.收入数据提升

• 收入的构成结构是怎样的？
• 如果是时长收费游戏，看时长和道具收入的比重分别为多少？
• 道具这块，看道具收入的排名，哪个道具、礼包最受用户青睐？

除了人数和收入，版本更新的内容也值得去分析，例如新的职业、新的玩法、新的任务和副本用户的参与度，或者更为系统的分析，例如用户消耗了这个版本的多少内容。

比如说，如果一个版本预设用户可以体验一个月，结果更新14天的时候，就有部分用户体验到了80%的内容，说明用户比较“肝”，针对这个情况，就可以加快更新进度了。

▍漏斗转化

这是某游戏在某渠道上线第一天的数据，可以按照漏斗拆解用户指标：

 

左边是每一个环节的转化情况，右边是整体的转化情况，从左边每一步环节转化，可以看出从点击到下载，以及从下载到安装的转化率很低，损失了一半的转化，这个时候就可以针对这个环节去查找原因，比如是不是客户端包体太大，网络异常，还是因为下载完成后没有提醒安装等等。

从整个环境来看，从点击广告进入游戏的转化率只有9.8%，付费转化率只有0.5%，也就是说10万个用户点击广告，最终进入游戏的用户只有9800人，最终付费的只有500人。

假设一个点击成本是1元（为什么我假设1元呢，关于点击成本，不同的游戏，不同的渠道不一样，几毛钱的也有过，几块钱的也有过，这里假设就1元），那么10次点击消耗10万元，付费的这500人的arpu做到200元可以回本（不考虑渠道分成）。假设渠道分成比例是50%，那么付费用户的arpu要做到400元才能回本。400元的arppu，就有些难度了。

07 主要的分析框架及方法

数据分析体系里面，除了有数据指标，还有分析框架和方法。

▍分析框架

无论是个人还是公司，均可以通过常用的框架来完善数据分析，这就是框架的作用。

这里先介绍几个常用的框架：用户行为理论、5W1H分析法、AARRR模型、PRAPA模型、RFM模型。

 

1.用户行为理论

我们有一款游戏，是在官网上进行了激活码售卖，只有先购买激活码才能成功登陆游戏。

 

那么，根据用户在官网购买激活码的行为，会有几个步骤转化，这几个步骤能对应到市场营销的5A模型，也能对应到用户的行为理论。

用户首先是要先打开官网引导页，用户能找到这个网页，说明他了解这个网站，可以观测的指标有网站的UV，有多少人浏览了，PV浏览了多少次，以及访问来源，这些用户是从哪些渠道进来的，是百度搜索，还是其他媒体。

其次，在官网引导页里面有进入官网的按钮，点击这一步进来的人，说明他被吸引了，他是喜欢的，他对这个活动是有兴趣的，可以观测的指标有页面平均停留时长、跳出率、页面偏好，搜测热词等，可以观测用户对官网的哪一块内容有兴趣。

在官网页面中，如果点击且进入了激活码购买页面，说明用户想进一步了解，想购买激活码，可以观测的指标有注册用户数、登陆用户数，因为用户在购买之前需要注册账号。

当用户支付购买了激活码，说明用户行动了，可以观测的指标有购买激活码的订单数量，用户转化率。最后，购买激活码的用户可以进入游戏了，如果他们认为游戏好玩，会拥护这款游戏，会推荐给其他人，可以观测的指标有活跃用户数（区分日活、周活、月活），活跃用户比例，留存率、流失率。

2.5W1H

我们从5W1H的分析思路去梳理流失原因的话，流程如下：

 

What，发生了用户流失；

Who，是谁流失了，是新用户流失，还是老用户流失；是学生，还是上班族其他职业的用户流失，游戏中哪个职业更容易流失；

Where，在哪里流失的，是在哪个地图流失的、哪个地域流失的；

When，什么时候流失，是新手期、中期还是高级期；

Why，是为什么流失呢，是因为游戏有卡点，任务不会做，还是副本打不过，还是社会关系薄弱，没有朋友一起玩；

How，用户流失了，怎么办，来个版本更新吧，或者活动来弥补版本的缺陷吧；

3.AARRR模型

这个模型是硅谷的一个风险投资人在2008年创建的，也叫海盗模型。

在我看来，这个模型跟端游时代的prapa模型有一些相似之处。

 

在游戏里面，第一步是获取用户，获取之后要让用户登陆游戏在游戏中活跃，活跃后可能会留存下来，留存下来之后，可能会付费，就会产生收入，如果成为忠实用户后可能会推荐给他的朋友，这个模型的最后一步就是推荐。

这个步骤也是用户的行为模型，每一步都会很多点可以分析，可以优化。其实将这个模型倒过来看，就是一个漏斗图，看哪个环节转化低了，可以针对性的找原因。

4.Prapa模型

这个模型是我们公司在2003年的时候向行业推出的，通过这个模型，可以完整地了解一款网络产品投入/产出的关系。

 

P－promotion：投入（包括市场费用、运维费用、销售费用、其他费用等）

R－register：注册用户

A－active:活跃用户

P－pay：付费用户

A－ARPU：用户消费额

因为跟前面的指标有很多相似的地方，就不展开说明了。

5.RFM模型

RFM模型是用户价值模型，是衡量客户价值和客户创利能力的重要工具和手段，就是根据用户活跃程度和交易金额的贡献，进行用户价值细分的一种方法。

 

主要有三个指标：

R - 最近一次充值时间

F - 充值频率

M - 充值金额

将用户分为“重要价值、重要发展、重要挽留、一般价值”四大类。

RFM模型可以参考用户价值数据，设计出用户积分活动，构建用户权益体系，尊享福利社，维持当前状态并做好流失预警。

▍分析方法

除此之外，分析的方法有很多种，我在这里例举了14种比较常用的分析方法。为了加深理解，举一个例子，把以上的14种分析方法都用到。

例如，有一款游戏某一天的收入上涨了，要找原因，为什么收入上涨了？

 

1.对比分析法

对比前一周或前一个月或一年的收入，收入上涨了多少；

2.分组分析法

对付费用户进行分组，分为大R、中R和小R；

3.结构分析法

大、中、小R的人数和消耗金额占总付费人数和总金额的比例；

4.平均分析法

大、中、小R的人均消耗金额（ARPPU）；

5.交叉分析法

大、中、小R参与活动情况，比如大型会战的情况、装备持有情况、元宝（钻石）消耗情况等，让我们可以从总分的角度来观察数据；

6.漏斗分析法

从账号到登陆、留存、付费的各个环节的转化，有可能会发现收入上涨的这几天用户留存、付费转化率比以前高；

7.矩阵分析法

将用户分类，比如分成高付费高活跃、高付费低活跃、低付费高活跃、低付费低活跃四个象限，根据四象限结果，可以对每个象限或者矩阵采取相应的对策；

8.综合评级分析法

评价每个付费用户在游戏里面的付费潜力。比如，取用户在游戏里面近7天付费金额、半年付费金额、1年的付费金额，把这些指标转换成一个综合指标进行排名，根据排名来评估付费潜力。

有可能会发现，有部分账号近7天的付费金额排名靠前，但是1年的付费金额排名比较靠后，这些用户有可能是流失回归玩家；

 

9.5W1H

我们还可以进一步分析，为什么这些用户流失了会回归游戏呢，是因为什么原因呢？可以用5W1H法，找出什么类型的玩家在什么时间什么地点因为什么原因而回归；

10.相关分析法

找到了用户流失回归的原因，同样也可以分析这些用户之前为什么流失，可以通过一些指标来分析和用户流失的相关性。比如，是打行会战的挫败感太强了？游戏物价贬值太快？公会成员解散了？等等，把这些原因的数据指标找到后，看这些指标和流失的相关性，相关性越高则流失概率越高；

11.回归分析法

把相关性高的指标找出来以后，将这些指标作为自变量，是否流失作为因变量，用逻辑回归，可以得出用户流失概率；

12.聚类分析法

可以区分PVP高活跃玩家，PVP低活跃玩家，PVE高活跃玩家，PVE低活跃玩家；

13.方差分析

该方法可以配合聚类分析法找出异常值，把异常值找出来并剔除，聚类分析出来的结果会更精准；

14.时间序列分析法

可以预测该游戏未来的收入趋势。

08 总结

其实，我之前做分享的时候，说过如何成为一名优秀的数据分析师，后来慢慢发现，优秀这个词很难定义，我们考量的更多的综合能力，这个综合能力包含数据思维（就是定量化的思维方式）、业务理解能力（需要不断学习和积累）、数据分析的工具（都会使用哪些工具）、分析方法和模型、可视化的技能、报告撰写。有好的分析结论，也要能输出出来。

 

当然了，分析师的这些技能很难面面俱到，我们一般会根据业务需求来挑选合适的分析师：比如，我要找一个对接研发项目，帮助调优的，我尽量会找玩游戏多的，且有从制作游戏角度考虑问题而不是玩家角度考虑的分析师；如果要我找一个建模做预测的人,那我会尽量找偏向数据挖掘的，业务方面弱一点也没关系。

以上仅为本次直播的部分内容回顾，更多精彩课程回放和课件，可以扫描下方二维码获取。

 

09 QA环节

想请问下老师对渠道（游戏中心/平台）的优化思路？

如果是手游的渠道优化，我们主要看素材的吸量情况，不同的素材对不同渠道的转化是有很大的差别的，这个是需要依据历史数据做优化。

这个优化是存在试错期的，只有经过一段时间的尝试后，才能提取优化方案。

想问一下一般LTV的计算方法？

LTV就是用户在游戏中创造的价值，例如说新用户一天的LTV就是一天的“新用户在游戏中的付费/新用户数量”，以此类推七天、一个月的LTV计算方式。

这个计算方法同理可以套用到不同的用户群上。

LTV有没有办法根据前两天的数据来预估？

如果你有同类产品的数据，或者有该产品封测、内测期间的数据，是可以做到比较准确的预估的。

如果没有参考数据，仅用两天的数据做预测，其误差值会比较大。

可以说一下预测模型怎么做吗？在项目初期就能做出预测模型吗？

我在课程及书中，提到过在立项期制作预测模型来推算未来数据变化，但其前提是我们拥有同类型产品的数据，或者可以抓取同类竞品的数据。

如果只有两三天的数据，趋势线是没法做出来的。如果有历史数据，就可以参考历史数据的趋势来做。

游戏长期付费不行，不知道怎么找原因？

还是需要看具体问题具体分析，虽然大家都是游戏，但是游戏品类、受众、场景都是不同的，就算是同品类的游戏，都会因为游戏中的体验差异，导致其会引发的问题不相同。

用户不付费，可能是数值方面的问题、付费驱动力不够，也有可能是付费系统设计出现问题。

老用户数据和新进用户数据需要分开分析吗？

如果是买量的话，我们会分开分析，去研究买来的这一批新用户的质量如何。版本更新、留存分析我们都会做新用户、老用户的区分。

是否要分开分析，更多是看分析的需求，不同的场景所需要的用户分群是不同的。

问下老师如果想获取某一类游戏的数据，那数据来源和行业标准要怎么获取？

某一类的游戏数据，主要看你想获取哪一部分。

比如App Store的排名可以爬取，也可以购买App Annie的产品，他有排名、营收、下载量等比较私密的数据。如果你想获取b站、taptap、百度指数的数据，也可以用爬虫来做。

如何针对流失用户做调研分析？

流失用户的调研分析，你需要通过问卷把用户可能流失的原因都整理出来做相关提问，回收问卷后再做详细分析，例如看看是个人时间比较少，还是对游戏中的某个模块不太满意。

问卷分析会是比较直接、快捷的方法。

流失预警模型一般有哪些数据，应该怎么从0开始做起？

你要找到跟流失原因相关的数据指标，寻找的方法就是刚才我所说的问卷调查等方法。找到原因后，再去建模、得到流失概率，然后我们再将预测的数据和历史数据作比较，去看预测数据的准确率，再一点点调整。

一款已经上线推广的游戏做ab测试有没有好的方法技巧和需要注意的问题？

A/B测试也有它的必要性，例如自动战斗与非自动战斗放在一起，玩家更喜欢哪个？这个就需要用A/B测试提取用户行为数据来做分析。

但做A/B测试是有代价的，首先研发的压力就非常大，他们需要针对不同用户群开发出两个完全不同的版本，这个会影响他们的工作进度的，特别是工作计划非常紧张的时候，A/B测试会是一个下下策。

其次，做完之后的数据可能存在滞后性，这个数据仅代表这个测试点在这个版本是有效的，不代表它会在未来的版本是长期适用的。产品设计是有设计轴心的，当你的A/B测试动到的是产品设计轴心，现在的数据可能没问题，但未来将要推出的内容将失去依附的核心设计体验，可能会导致产品出现问题。

A/B测试是一个需要慎重考虑的东西。