第18名方案

我要感谢所有通过分享 Notebook 和讨论为本竞赛贡献知识和智慧的参赛者。

我提交的方案由 3 个模型的简单平均组成，分别是：5折 gluon_seresnext101_32x4d、tf_efficientnet_b4_ns 和 seresnext50_32x4d。

以下是我模型的最终得分：

训练方法论

模型训练各阶段使用的参数如下：

第一阶段

• 图像尺寸：320x320 或 384x384
• 轮数：10
• 学习率：1e-4
• 训练集：2019 + 2020 数据
• 验证集：2020
• 调度器：GradualWarmupScheduler
• 标准：TaylorCrossEntropyLoss，标签平滑=0.2
• 优化器：SAM + Adam
• 增强：RandomResizedCrop, Transpose, HorizontalFlip, VerticalFlip, ShiftScaleRotate, Cutout

第二阶段

• 图像尺寸：512x512
• 轮数：25-40
• 学习率：1e-4
• 训练集：2020 数据
• 验证集：2020 数据
• 调度器：GradualWarmupScheduler
• 标准：Combo Loss（详见 Notebook）
• 优化器：SAM + AdamP
• 增强：RandomResizedCrop, Transpose, HorizontalFlip, VerticalFlip, ShiftScaleRotate, Cutout + Cutmix

微调阶段

• 轮数：5
• 学习率：1e-5
• 训练集：2020 数据
• 验证集：2020 数据
• 调度器：无调度器
• 标准：Combo Loss（详见 Notebook）
• 优化器：SAM + AdamP
• 增强：强 albumentation 增强策略

我认为 SAM + AdamP 优化器的组合在预测泛化方面提供了模型的鲁棒性，这是在竞赛排名波动中生存下来的关键。

我的模型分数的一个可能的改进方向是使用 SAM + SGDP，并在 Combo Loss 中添加 FocalCosineLoss，并找到合适的学习率，因为它收敛得很快。不幸的是，我没有可用的 GPU 资源来重新训练我的模型，因为 SAM 优化器会使训练时间翻倍，而且我花了太多时间寻找模型训练的正确参数。

再次非常感谢大家。