第35名方案

首先，感谢我优秀的队友们的辛勤付出！

在我们的方案中，我们训练了一个B0模型，并尝试了几种方法来衡量CV（交叉验证）的改进效果。

过滤噪声标签

我们检查了最佳模型的袋外结果与标签的对比，并移除了那些与真实标签置信度差异较大的标签。我们使用这个过滤后的数据集进行训练，但在原始数据集上进行验证。

模型

我们在训练过程中划分了8个类别。

模型类别 1

• 在完整训练数据上训练
• 过滤噪声标签
• 无外部数据
• 未使用 Cutmix
• Taylor + Cross Entropy Loss（交叉熵损失）
• 图像尺寸 666x500 -> 裁剪为 500x500
• Noisy Student

模型类别 2

• 与类别 1 的区别：
• 图像尺寸 600x800 -> 裁剪为 600x600
  • 预训练权重：Imagenet

模型类别 3

• 与类别 1 的区别：
• 使用 Cutmix
  • 预训练权重：Imagenet

模型类别 4

• 与类别 2 的区别：
• 使用 Cutmix
  • 预训练权重：Imagenet

通过这4个集成的类别，我们生成了伪标签。

类别 5：同类别 1 + 外部数据（2019数据集）+ 伪标签

类别 6：同类别 2 + 外部数据（2019数据集）+ 伪标签

类别 7：同类别 3 + 外部数据（2019数据集）+ 伪标签

类别 8：同类别 4 + 外部数据（2019数据集）+ 伪标签

针对每个类别，我们训练了大部分 EfficientNet 模型（B0 到 B4）以及 ResNext50。我们计算了每个模型的推理时间，以及 8 种 TTA（测试时增强）的准确率，TTA 包括：['rotate0', 'rotate90', 'rotate180','rotate270', 'rotate0_lr', 'rotate90_lr', 'rotate180_lr','rotate270_lr']。基于每个 TTA 的模型袋外结果，我们使用贝叶斯优化来优化它们的软投票权重和 TTA 数量。

最后，我们添加了一个来自公共笔记本的 ViT 模型并进行了集成。