通过用户分层，咱们能够查看模型对头部用户圈定是否精确

通过用户分层，咱们能够查看模型对头部用户圈定是否精确，怎么进一步评价具体是哪个分层用户变动导致的最终点击率下降呢？咱们界说分层奉献度目标，来描绘和辅助定位分层改变对全体目标的影响。

• 不同分层用户注册转化潜力不同，对比两次投进，但由于微信黑盒过滤，实践曝光的用户分层量级散布由原始用户圈定时的均匀散布变成不均匀散布，且两次投进中不同分层的实践曝光量改变情况不同，不同的分层的实践曝光量和点击率都有差异。分层曝光量改变受过滤影响，点击率遭到资料影响，两个之间相互独立。
• 分层点击率奉献度目标能够描绘资料的影响，假定曝光量不变，评价不同分层点击率改变对全体的影响。对每个分层核算当次点击率和前次点击率的差值，假定曝光量不变，用该层当次曝光占当次总曝光比例做权重核算点击率奉献度。
• 分层曝光量奉献度目标主要用于描绘由于黑盒过滤导致曝光散布改变，进而对全体点击率的影响。对每个分层核算当次曝光和前次曝光量的差值占当次总曝光量的比例，作为分层流量改变比例，假定点击率不变，用该层当次点击率和当次总点击率差值做权重核算曝光量奉献度。
• 结合两次投进，能够核算出点击率改变和流量改变带来的分层总奉献，当次点击率相比前次投进点击率有所下降，其中分层1和分层17的分层奉献比例大，是导致点击率下降的主要因素；调查流量改变能够发现，头部分层1（模型以为转化概率高的高点击率用户）实践曝光量下降明显，尾部分层17（模型以为转化概率低的低点击率用户）实践曝光量上升，在整体曝光量改变不大的情况下，由于分层曝光量改变，导致整体点击率下降。

三、剖析case

接下来，咱们用上面的SOP流程剖析一个实践投进的案例，这个case的布景是某游戏的虚拟金投进中目标的动摇，调查到3月投进的曝光注册率大幅下降的趋势，而4月的EVR有明显的提升，需求剖析EVR动摇原因。

该游戏3-4月的EVR改变趋势和曝光量级（数据安全考虑隐去坐标轴数值）：

依据上述的漏斗逐层往下剖析，对北极星目标的动摇归因。

首先在出包之前，咱们会先看一下候选集对注册人群的掩盖才能有没有明显改变。这里咱们主要关注的目标是候选集对注册用户的召回率，这个目标代表了咱们的模型能从中选出的注册人数的上限，正常情况下，假如没有对候选集做出大的调整，候选集掩盖的注册人数比例应该是相对安稳的。

假如候选集召回率明显下降，那么在整个出包流程开始之前，咱们就能够预期到这次投进作用会有一定起伏的下降，由于咱们能触及的注册人数上限变低了。

这时候咱们就需求去看什么原因导致了候选集的改变，例如是由于前面的用户活跃度过滤战略过滤掉了太多用户，仍是说场景点击过滤战略筛掉了过多用户，又或是什么其他原因，并做出相应调整。