交叉验证

2.4.2  交叉验证
     对两个学习器A和B，若我们使用尼折交叉验证法得到的测试错误率分别为e，e参…．，e参和e#，e字，…，e宇，其中EjA和<3是在相同的第t折训练／测试集上得到的结果，则可用k折交叉验证“成对t检验”(paired t-tests)来进行比较检验．这里的基本思想是若两个学习器的性能相同，则它们使用相同的训练／测试集得到的测试错误率应相同，即e尹=e尹．具体来说，对k折交叉验证产生的k对测试错误率：先对每对结果求差，Ai=e手- tiB;若两个学习器性能相同，则差值均值应为零，因此，可根据差值△1，A2，…，△%来对“学习器A与B性能相同”这个假设做t检验，计算出差值的均值p和方差U2，在显著度a下，若变量小于临界值ta/2，k-l，则假设不能被拒绝，即认为两个学习器的性能没有显著差别；否则可认为两个学习器的性能有显著差别，且平均错误率较小的那个学习器性能较优．这里ta/2，'k-l是自由度为k-l的￡分布上尾部累积分布为a/2的临界值．欲进行有效的假设检验，一个重要前提是测试错误率均为泛化错误率的独立采样，然而，通常情况下由于样本有限，在使用交叉验证等实验估计方法时，不同轮次的训练集会有一定程度的重叠，这就使得测试错误率实际上并不独立，会导致过高估计假设成立的概率．为缓解这一问题，可采用“5×2交叉验证”。