Private 7th | Public 71th 方案分享

这次比赛的经历对我来说非同寻常。由于PB（Private Board）数据的噪声问题，我觉得自己非常幸运能够进入金牌区，因为大多数人的PB分数都非常接近。非常感谢所有的讨论话题和公开的Notebook，我从中学到了很多。非常感谢大家！祝贺所有获得奖牌的个人和团队！

解决方案

选择了两种方案进行提交：

1. 第一次提交：不对噪声标签进行二次处理

CV 0.90398 | LB 0.906 | PB 0.901

这是本地CV得分最高的方案。它使用了大量的数据增强，包括随机裁剪、水平/垂直翻转、大量的RGB变换、Cutout、网格失真等。

6个模型 x 4倍TTA：

结果显示，所有未对噪声标签进行二次处理的集成提交的PB得分都在0.898到0.902之间。

有两个PB 0.902的结果：

3个模型和5倍随机TTA：
CV --- | LB 0.902 | PB 0.902

随机TTA与训练中的增强方法相同，随机进行5次。

5个模型和5倍TTA：
CV --- | LB 0.901 | PB 0.902

2. 第二次提交：基于第一种方案的预测结果进行知识蒸馏，学生模型结果与教师模型结果按4:6加权

CV 0.9063 | LB 0.902 | PB 0.900

数据增强和模型结构保持不变。

6个学生模型和4倍TTA
CV 0.9079 | LB 0.901 | PB 0.898