从思路到工具 增长实验数据归因分析

小提示：您能找到这篇{从思路到工具 增长实验数据归因分析}绝对不是偶然，我们能帮您找到潜在客户，解决您的困扰。如果您对本页介绍的从思路到工具 增长实验数据归因分析内容感兴趣，有相关需求意向欢迎拨打我们的服务热线，或留言咨询，我们将第一时间联系您！

作者：九日论道（微信公众号ID：growthhack）

出海注：本文是微信公号九日论道作者BenjaminDxc在出海的专栏文章，转载须保留本段文字，并注明作者和来源。商业转载/使用请前往联系，寻求作者授权。

大家好，第二篇数据驱动增长的干货来了。上次我们跟家分享了，但都会偏理论层面，这次我们直接通过分析思路和工具层面，来详解我们对实验数据的分析和评估过程，以及如何做分析和归因，让结论有理有据。

本次分享的主要目的是希望帮助更多的人掌握分析思路，这样在当我们开展任何增长实验的时候，在面对自己的分析或别人的分析结果时，能够有效的解读和利用实验结果，达到实验的目的。

1. 关于 AB Test 的结果归因

上一篇关于 AB Test 的分享我们提到了，当我们的实验获得了一次显著的结果，可以说明实验有效了，但这样就结束了吗？直接告诉团队的其他人实验成功了，OK 吗？

显然不是，现实中我们会更在意实验为什么成功了？具体表现是什么？而一个没有被归因的结果，不太可能给我们带来可以被沉淀和复制经验。

笔者想重点说明的一点是，掌握对实验数据归因分析的思路，这样才找到实验方案背后可能的真相，也才真正有利于我们决策，而不只是停留在一个结果数据上。

当我们自己给出一份分析或获得一份分析报告时，我们都应该多思考一下，这个数据或结论是否找到实验结果背后可能的原因？没有的话，其实并不严谨和完善。

当我们没有归因实验结果，那等同于我们没有真正获得成功的经验，反之，我们也没有获得失败的经验，而这些经验正是增长的关键所在，也意味着我们每次实验不是盲目投入。

例如：

你修改了某个文案用于实验，实验结果显著了，你说是改变文案的功劳，然后到此实验就结束了？那么，你的下一步建议呢？如何进一步提升？用户为什么看了这个文案就更容易转化了呢？再换个文案是不是更有效？文案是否有规律可循？

通过这个例子，我们可以看到，我们不能一直盯着文案改变后的结果，更要研究文案改变后用户的行为模式变化，以及用户是如何达成最终目标的；文案对比是感性的，很难直接衡量差异，而对数据的影响和变化，是可衡量的对比，有迹可循，提供依据。

解读用户因某个变量产生了什么变化，从而导致结果发生了改变，这个才是归因要做的事，也是老板们关心的，这样才能够让我们真正习得经验，给下次调整提供方向。

2. 实验的本质是要不断习得经验

笔者认为，实验的本质是要不断习得经验，即使这个实验没有出现胜出组，我们也可以不断通过归因习得经验，总结到成功或未成功的经验，而不是面对成功或未成功的方案，两眼发愁，得过且过，要珍惜每次实验的团队学习机会。

大家可以思考一下，我们的团队平时的 AB 分析是怎么做的？是否有类似的情况？

告诉你有效果，然后上线，问不出个具体的所以然来？

或者告诉你实验没有效果，然后就仅仅总结没效果，方案不行，也说不出个所以然来？ 

其实，当方案一旦调整，我们理论可以从用户行为上的差异发现区别，例如触达后开始的一段周期内，用户行为如何改变？

举例，假如我们的方案是新页面曝光与不曝光，这类的行为比对，则可以扩散到用户触发时机之后做对比，因为用户触达后的行为变化可能与遇见该页面有关，没有遇见的用户的行为模式对比，能够找到更加有意思的数据变化。

比如触达后，是用户的活跃率高了，活跃时长更长，还是时长变短，还是操作更加频繁等等，深度归因和对比，是否用户作出的行为改变是因为你的方案，这样我们就能够详细归因。

数据比对就是要事无巨细，真正走进用户的操作过程中，记住，这个要依赖与你采集到了足够的数据。当你没有足够的数据分析和采集经验，那么我建议你，能点击的地方尽可能采集，能浏览的地方采集停留时常，多入口的页面粉丝通采集来源，这样你的数据就会比较完整，在很多分析模型中也能发挥作用。

3. 如何归因

我们知道要归因，那我们要怎样做，下面我们借助前面一个分享过的案例来看一下分析的过程。

【案例】

假设：上线 7 天免费试用，能够对收入有提升 10%，提高用户付费转化率提高 10%

核心评估指标：

用户付费转化率（7 天内，0 金额不计算）

ARPU（7 天内）

实验分组：

A 控制组，默认不曝光免费试用商品（原价商品）

B 实验组，曝光 7 天免费试用，显示免费试用字样

参考下面数据例子：

通过上面的例子，我们可以看到实验的转化结果，这样的统计方式汇总程度较高，可以统计到显著结果，该指标其实是忽略了中间的转化过程；当然，我们正常不会评估一个指标，但这里只做案例假设。

这里的目标转化量 = 用户实际付费的用户量（扣除退款）

要对上述结果做归因，我们需要了解可以拿到什么数据用于做归因分析，以下的分析思路可以供大家参考

3.1 获取方案触达到转化的过程指标

触达到转化的中间过程，笔者喜欢称之为一个“过程黑箱”，当我们不去拆解，对我们来说就是个黑盒子，因为你如果不去仔细拆解，根本无法想象里面有多少我们可以使用的数据，这个是我们可以归因分析的一个方向，值得大家去尝试分析。

我把这类归因分析的过程，称之为拆解过程黑箱内的数据指标，通过对比不同方案的数据差异，来分析数据的变化，做结果归因。

过程比较简单，只需要梳理该过程黑箱内可能影响转化的指标，如果不清楚有哪些数据可用，可以借助工具查看两个步骤之间的行为序列，找到你可以用的数据即可。

在这个例子中，我们的 B 组用户，经历了触达到转化（最终付费，不含退款）的过程，中间可能涉及到的指标或行为有哪些？

例如：

l 选取免费试用商品

l 选取非免费试用商品

l 页面停留时长

l 参与免费试用活动

l 参与免费试用活动-转化时长

l 自愿取消订阅免费试用

l 自愿取消订阅免费试用 - 取消时长

l 非自愿取消免费试用

l 免费试用到期转付费（7 天）

l 免费试用到期转付费升级/降级

l 免费试用到期转付费后退款

l 免费试用到期转付费后取消订阅

l 其他行为...

A 组的用户大家可以按照这个思路拆解，当方案存在较大差异，各组中间的指标是会存在较大差异的，可以寻找一些可以直接对比的数据，当然，指标本身的差异就是一个可以分析的方向。 

当我们拆解完之后，已经可以比较清晰的知道用户在整个过程黑箱所经历的事情，当我们能够拆解出这一步，这个已经说明我们对业务了解足够的深入。

这里笔者为什么要强调对业务足够了解了，这是因为要做到深入的分析，真的需要具备足够的业务知识，否则你怎么能想到到期转付费前还能升级或降级呢？或者知道还有非自愿取消的比例？所以对于业务知识的了解是运营和产品人员的优势，可以尽情发挥在分析上面，这也是为什么业务分析很注重分析人员熟悉业务知识的原因。

那么拆解后，我们能得到什么信息？（注意，案例只是根据分析的内容提供了一个思路，要学会举一反三，不同的分析场景，过程黑箱里的可用数据不一样）

我们能够聚焦到用户触达方案后，实际的行为变化，例如直接选取了免费试用商品的比例变得非常高，这个能够直接通过行为得到结果，而且很少会有歧义；又或者，我们知道用户在付费前，取消的周期非常短，主要集中在头几天，且取消率非常高。（这里面就涉及到前面提到的从归因到经验习得）

假如我们通过对比发现，不同地区的取消率差异非常大，一些地区因为取消率高直接就导致实验失败了，这个就是一个归因，且当我们通过分析知道有这层数据存在，那么我们就更容易找到那些表现不明显的地区，即使一些地区样本量少，我们也能够大概率通过该因素来衡量实验效果，因为该指标和结果存在着较强的相关性。（区分维度也很重要）

分析过程中，多提出疑问和假设去分析，往往会有更加深入的发现。

例如：

什么用户排斥免费使用？是转头就关闭，还是徘徊后走掉？直接流失比例多少？

3.2 其他可归因的数据

那么，除了过程黑箱，我们还能找到其他数据来观察变化，尽可能归因吗？这是当然的。

笔者最喜欢看的还有一个流失数据，这是最能体现负面影响的数据指标，就是当方案触达后，用户不是直接转化，而是直接流失了，这个是个很有意思的分析方向，可以分析用户在该页面是如何流失的，流失前的相关行为变化，也建议大家多尝试一下，往往转化率不行也意味着流失，那么用户如何流失就很可能给我们提供重要信息。（在 session 分析的概念里，也称为会话中某一个行为的退出率）

此外，我们还能观察转化后的留存情况，订阅保留等数据，这些数据给我们提供了很有价值的长期估算指标。

继续拿 B 组用户为例，我们此时针对该案例还能拆解出什么相关指标？用于分析数据变化。

例如：

l 免费试用到期转付费后取消订阅

l 保留有效订阅数

l 直接离开 App 流失率

l 用户长期留存率

l 其他指标…

注：还是提醒一下，任何用于当前分析的数据都要基于实际业务，切不可完全照搬，有可能不适用于你的业务。

上述例子我们提取了取消订阅了等数据，通过免费试用到期转付费后取消订阅率，估算续费率，再核算到用户收益中，这样能够估算出用户长期的 LTV 值，如 1 个月/1 年，当这个估算值高于对照组，且转化率、保留率显著提升的前提下，能够进一步说明实验上线后的长期收益，这个要比我们给一个“结果是否有效”有力得多，给出合理的预测，能够让团队更加清晰方案上线后的价值和预期增长。

笔者以前会习惯性的认为归因是在用户转化前的行为数据，但后来仔细想想，不见得转化后的数据不能成为归因分析，理由是用户正是因为方案 B 转化，且因为方案 B 的免费试用，体现出最终的付费后一段时间内保留的有效订阅高于方案 A，因此可以反过来验证或论证实验结果。

3.3 归因分析过程要不断的假设

根据笔者的经验，我们要充分挖掘一份实验数据的信息，就要不断的重复做假设，重复分析和验证，无论是面对自己的分析结果还是他人的分析报告，不要停下质疑的声音。

当我们开始假设，就可以通过数据去验证，当前数据无法验证的，则可以再设计实验去验证，这个就是优化方案或想法的来源。

例如前面我们的一些分析可以尝试做如下假设：

l 假设不是所有的地区取消率都很高（这个时候就去拆分地区数据验证就行了）

l 假设用户流失是因为页面提示文案不友好，调整文案后会减少用户的排斥心理，减少流失（可能需要实验去验证）

l 其他假设...

笔者总是按照“先假设，再分析，再验证”的方式在做每个数据分析工作。

假设是否正确与个人对业务和对数据的熟悉程度有关，这里也体现新品上市营销策划了个人的预测能力，经常基于数据做出假设可以有效提高自己的分析水平。

4. 利用工具归因

在工具方面越来越多的公司会接入第三方数据平台或工具，这里笔者借助合作多年的神策数据工具作为例子来分享。

分析工具方面推荐使用漏斗模型、归因模型、用户路径模型 以及 session 分析模型，这些都是可以用来分析行为前后的转化率、流量分布、行为贡献值等数据，适合归因；涉及到指标的获取，直接用事件分析即可。

4.1 漏斗分析模型

相信是大家常用的一个工具，用于关键步骤，转化率和转化时间的分析，一般可以看到转化前的步骤转化率变化，而转化时间也是一个很重要的指标，可以用于观察和总结用户行为模式差异。

4.2 归因分析模型

前面我们有一直在前调，对于转化前的黑盒，这个时候我们可以思考用户很多可能的行为，然后去做归因分析，计算每个行为的贡献度，对比不同方案的变化，那么我们就能够找到不同方案转化前的差异了。

通过归因分析每个因素（待归因事件）的差异，再去分析为什么是方案 B 比方案 A 要更优。

举例，方案对比如下：

假设触点 A 为转化前的核心行为事件，而两个方案的归因分析对转化的贡献度就出现了明显的差异，这个时候是可以总结方案改变了用户触点 A 的行为，触点 A 一般为我们根据业务选择的待归因事件，因此这个行为具备实际的业务含义。

当我们总结触点 A 的改变，那么是否又有其他因素在改变的触点 A 呢？那么触点 A 的转化因素也可以继续归因，以此类推。

实验组 B

实验组 A

4.3 用户路径模型

如果涉及到多层级或多步骤操作的因素，笔者也推荐类似用户路径的分析模型，可以分析出转化前，所有流量的来源分布数据，以及触点 A 发生前的流量分布，对比两个组的数据，也可以清晰分析两组之间的差异。

例如我们拆解出用户转化前的行为数据，然后通过路径做相关的路径分析，如触点 A、B、C 的数据变化。

通过设置关键转化目标为结束事件，再筛选不同组的用户做对比分析，既可以得到不同组之间的路径分布差异。

补充

神策相对于其他数据平台或工具，其本质上都是一样的，我们要学会举一反三，我们只有了解了分析工具背后的逻辑，才能够通过工具正确解读数据，也只有正确解读了数据，我们才掌握利用数据描述事实的能力。

大多数团队甚至没有数据人员，因此笔者非常的建议产品和运营人员掌握一些常用的数据分析工具，用于日常的实验分析工作；对于实验的分析，不用太多 coding 和建模的知识，只需要掌握业务分析常见相关逻辑和分析思路，利用好一些成熟的数据平台或工具即可，并提高自己的分析能力，也希望这篇文章对大家有所帮助。

文章不足的地方在于只能就案例来对实验数据分析做相关经验分享，但这并不是全部，涉及到一些复杂的分析也很难一一分享。