除了比照候选集准确率和头部用户的注册率，咱们还通过头部用户的召回率来评价模型的表现

上图为该游戏候选集召回率的改变趋势，能够看出，候选集的召回率和EVR有根本相同的改变趋势，大致拐点根本相同，在3.7到4.4之间候选集掩盖的注册人数份额大幅度提高，以曝光点击活泼候选集来看，从3.7的24.7%上升到了4.4的45.8%，有将近两倍的提高，同期的EVR也从0.005%上升至0.191%，反观4.25期候选集召回率有很大的下降，EVR也相应远低于4月其他档期。

这阐明，模型出包的候选会集掩盖的人数在3月初有大幅的跌落，导致模型能选出的注册人数的上限削减，然后影响到曝光注册率，而之后候选集掩盖的微信关系链注册人数逐渐上升，到4月初差不多上升至2月底的水平，模型能选的转化人数上限提高了，那么在模型才能安稳的情况下，就能选出更多的高潜转化用户，提高整体EVR。

在确认候选集对EVR的影响之后，下一步咱们需求评价模型的才能是否安稳。在这里选取的目标是候选集准确率和头部用户的注册率，别离代表了候选集掩盖的注册人数和出包的头部500w用户掩盖的注册人数多少，在候选集总人数不发生太大改变的情况下，通过比照这两个目标的改变趋势，咱们能够确认模型的表现是否符合预期。

假设模型才能比较安稳，那么候选会集的注册人数和模型从中选出的注册人数应该等比上升或下降，也就是候选集的注册率和模型头部用户的注册率会有相同的上升/下降趋势，假设候选集的注册率在上升，而模型选头部用户的注册率反而大幅下降，那阐明模型表现的异常差，需求去看这期的模型出了什么问题。

下面咱们比照了该游戏候选集准确率和出包头部500w注册率，能够看到，大多数档期两者有根本相同的升降趋势，出包头部500w用户注册率低的时候，同期的候选集准确率也根本相同份额降低，阐明3月份头部500w中注册人数变少是因为候选会集的总注册人数变少了。

除此之外，能够观察到，从3.11到4.7的几次投进，头部500w用户的注册率有一个大幅的提高，远比候选集这段时刻的提高要大，阐明候选会集注册人数增加不多的情况下，模型挑选出了比前几期两倍以上的注册用户，可见这几期的模型才能提高也是EVR提高的主要原因之一。

除了比照候选集准确率和头部用户的注册率，咱们还通过头部用户的召回率来评价模型的表现，这一目标代表了模型选出的头部用户能掩盖总注册人数的多少份额。假如模型预测才能强，那么选出的优质用户应该能代表高潜注册用户，出包头部用户应该能掩盖大多数的注册用户，假如排在尾部的用户反而比头部用户包含了更多的注册用户，那阐明模型预测出的概率可能有误差。

下面是该游戏在这两个月的头部500w用户召回率，能够看到，从3.7到4.4号的投进，头部用户召回率从13.3%到88.6%，提高了75.3%，幅度也远超候选集的改变幅度，相同验证了模型才能的提高，阐明3月底开端模型选出的优质用户掩盖了更高份额的注册用户。