关于如何衡量，我们做过调研，很多优秀的团队，都在坚持做这个事。大家在日常的工作中，也都有一些自己的这种心得，也都总结出来了一些方法。那么我们是和很多团队一起去研究，沟通了以后，我们也是总结了一套相对全面一点的方法。这个方法的核心是拷问我们五个问题，然后通过数据回答。这套方法，能够让我们比较全面的衡量每次改版的真实效果。

这五个问题是：

1)新功能（或改进的功能）是否足够受用户欢迎？

2)用户是否会重复使用我们新功能（或改进的功能）？

3)这次迭代对对用户留存的整体影响如何？

4)如果改版是为了优化某个使用流程，那么这个流程的转化率是否得到了提升？；

5)深入了解用户到底在如何使用我们的产品，以及改进的（或新增的）功能？

 

在正式讲衡量方法之前，简单分享一些基本数据方面的概念。如果我们的产品经理之前完全不懂数据衡量的话，那么首先需要了解一些数据指标。

晓松产品壹佰直播3

如果把地球看成一个APP，用户就好比地球上的人。每年出生1.4亿人，目前70亿人活在世界上，已经累计死去1080亿人。其中出生人数就像是新增用户，现存70亿人口等同于活跃，累计死去的人意味着流失，“人活七十古来稀”的概念与留存周期类似，人们生育繁衍又与产品的口碑传播很像。这样，我们可以一一对应这些用户生命周期中的概念：新增（Acquisition）、活跃（Activation）、留存（Retention）、传播（Refer）等，对于互联网产品而言，还有一个商业变现（Revenue）的环节。这五个环节，就构成了我们常说的AARRR用户生命周期模型。

1. 新功能（或改进的功能）是否足够受用户欢迎？

关于迭代衡量系统的方法，首先要考虑新功能是否受欢迎。产品发版以后，这个版本的活跃用户数如何？发版后的一些新功能是否受欢迎？如果用一个指标概括，这个指标叫功能活跃比（使用某个功能的活跃用户占同期活跃用户数的一个比例），这个指标是能够反应新功能是否受欢迎，不能从这一个面去看，仅仅从这一个面衡量是不足的。

2. 用户是否会重复使用我们新功能（或改进的功能）？

第二个方面，是看新用户是否会重复使用，假设这个产品经理长袖善舞，通过各种手段让用户尽可能导到新功能上去。如果用户用起来不爽的话，第一天导过去用了，第二天再导过去用了，第三天发现这个产品有bug，体验也不好，用户就不用了。不用了代表用户同步使用率会下降。但是真正要落实到数据上去衡量的时候，同步使用率是比较难衡量的。因为用户会有流失，因此重复使用率要和留存以及活跃比放在一起去看，才能够得到一个才相对客观结果。

3. 这次迭代对对用户留存的整体影响如何？

第三个方面是新版本对留存的影响。那么这个一般目前主流的这种产品数据分析，或者用户行为数据分析的平台，实际上都有相应的模式和相应的功能都直接看。

产品迭代1

从留存的方面去看，如图，红线是两个版本的分界线，红线以下是老版本，红线以上是新版本了。上线新版本后，发现用户的留存率有明显的提升。说明改版提升了用户留存。如果没有变化，或者留存率下降，则说明没有达到我们预期的效果。

4. 如果改版是为了优化某个使用流程，那么这个流程的转化率是否得到了提升？

接下来需要看转化率是否提升了。例如一个内容类产品，会发布UGC或者PGC内容，可以是文章、图片或者是视频。我们的预期是用户看着觉得好并会分享到其他的社交平台上去，通过查看从阅读到分享再到分享完成三个步骤，比较分析改版之后转化率是否有提升。如果没有提升，则需要我们去找背后的原因。

5. 深入了解用户到底在如何使用我们的产品，以及改进的（或新增的）功能？

最后，如果你的老板找你要产品改版结果，给他看用户留存率以及转化率这些数据也就够了，但是对于我们产品经理来说，还需要进一步多去挖掘一些数据，以便我们知道后面版本的这个迭代需要从哪几个方面深入？首要关注的是什么？已经发布的或者是改善的功能，它的使用情况到底如何？可以从活跃、留存率两方面去进行拆分。再进一步，我们还需要去关注什么呢？比如说用户在打开应用的时候，都干了什么。如果版本改动比较大，用户进入应用以后做的事，是否发生一些变化？我们需要把改版之前的一个时间段和改版之后的一个时间段做一个对比，对比主要是找差异。如果改版前后差别不大是一种情况，如果改版前后发生了一些变化，这个变化是否是我们预期的，是需要去分析的。

除了打开应用之后做了什么，还需要分析的是用户在离开应用之前做了什么，也就是说用户是在哪一个环节结束了应用的使用。这样，往往能发现一些问题。比如说一个web产品，用户通过搜索引擎到首页，然后就结束了。这时候，需要我们从产品的角度去分析，看看在首页文案的引导，按钮的摆放，颜色、布局等方面，是否需要进一步优化。

最后就是要对迭代改进的功能或者新增的功能进行重点关注。做法是看用户在使用改善后的功能之前都做了什么，是从哪儿来的。另外用了这个功能以后，又做了什么。也就是把这个功能放在用户的使用场景或者放在用户的使用路径中，来了解用户的来龙去脉。

到此为止，我们需要从大的统计指标上去看一下整体改版的整体情况。包括用户在使用功能的一些整体表现，作为产品经理，做到这一步，依旧不够。我们还要进一步查看用户的整个使用路径。说到这儿实际上在以前讲产品数据分析方面的时候，实际上我有点不太好意思讲这个的。因为我觉得这个事看起来有点LOW，要一个一个查看用户的使用的路径，看看他第一步做什么，第二步做什么，我觉得这个事看起来有点LOW的，所以有点不太好意思讲。直到后来碰到一些来自百度的产品经理，他们就提到在日常的工作中，很重要的一个部分就是查看用户使用路径，甚至会定出计划来。比如说圈定100个用户，可能花上一周或者两周的时间，把100个用户的使用情况查看一遍，制定相应计划。通过这种方式，很大程度上能够弥补我们对用户的认知不足。