新媒易动态
NEWS CENTER
NEWS CENTER
2023-07-04
前面提到的关于Hold-out留存法，或者是交叉检验法都需要划分测试集和训练集进行模型评估。然而当样本规模比较小的时候，划分验证集会进一步让训练集减小，最终影响模型训练的效果。
所以诞生了自助法（Bootstrap）自助采样的检验方法：对于总数是n的样本集合来进行n次有放回的随机抽样，得到大小为n的训练集。
在n次采样的过程中，有的样本被重复采样，有的样本没有被抽样过，把这些没有被抽样的样本作为验证集合进行模型验证，这就是自助法验证过程。
要客观评估一个推荐模型的好坏，那么就需要有一个客观的度量衡指标来进行评估，并且需要多个角度的指标来评估推荐系统，从不同的视角来得到多个维度的结论。
以下是推荐系统在离线评估当中使用的比较多的指标，其实在之前介绍推荐系统排序模块的时候就有给大家概述性介绍，从混淆矩阵的视角出发说明准确率(Accuracy)、召回率(recall)和精确率(Precision)，这里我们再详细介绍一下。
混淆矩阵说明
我们通过举例的方式让大家更加容易理解，首先，我们来理解混线矩阵当中的几个概念，用推荐系统举例方便大家理解。
准确率代表分类正确的样本占据总样本的个数比例，也就是：
其中分母代表总样本数量，分子代表的是无论是预测会被点击还是不被点击，预测结果和实际结果保持一致的的样本数量。
准确率是分类任务当中比较直观的评价指标，虽然有比较强的可解释性，但是也存在明显缺陷。就是当不同分类的样本不均匀的时候，占比大的类别往往就成为了影响预估准确率的主要因素。
如果负样本占比是99%（即100个曝光后的样本都是未点击），那么把所有的样本去预测成负样本都可以获得99%的准确率。
如果把推荐问题当做是一个点击率预估方式的分类问题，在选定阈值进行正负样本区分的前提下，可以用准确率评估推荐模型。
而在实际场景当中更多是利用推荐模型得到一个推荐序列，因此更多用精确率和召回率指标来衡量好坏。
召回率代表分类正确的正样本数占比所有真正的正样本数的比例，也就是：
考察的是推荐系统模型当中在做分类任务时候把所有实际为正样本预测成正样本的能力，更多考察的就是对正样本的覆盖情况。
精确率是分类正确的正样本数量占比分类器判定成正样本的样本个数比例，也就是：
代表着推荐系统模型在做分类任务中分类预测正向样本的精准程度。
精确率和召回率是矛盾统一的两个指标：即为了提高精确率，分类器需要尽量在“更优把握的时候”才把预测样本预测为正样本，但是往往会因为过于保守的预估而漏掉很多“没有把握”的正样本，导致召回率变低。
所以为了综合的反映精确率和召回率的结果，可以采用F1-score，F1-score代表的是精确率和准确率的调和平均值。