第21名方案：咫尺天涯

大家好，首先热烈祝贺获奖者，也非常感谢 Kaggle 组织这次比赛。这次比赛对我们来说充满了起伏，我们付出了艰辛的努力，有时我们觉得自己能跻身前列，有时又因为 CV（交叉验证）和 LB（排行榜）分数之间的差距而感到气馁。我要感谢 @ttahara 和 @yasufuminakama 提供的初始基线，我们从中学到了很多新东西，还要感谢 @hengck23 不时分享他的想法，我几乎尝试了他所有的想法。

在整个比赛过程中，我们尝试了许多既有雄心又简单的想法，我们四个人直到最后一天都在训练模型。以下是我们尝试过但没有奏效的内容：

• 使用自注意力机制训练第二阶段模型
• 使用来自教师模型的 Transformer 注意力机制训练第二阶段模型
• 训练在每个头部具有空间注意力、在头部之前和最后一层输出之后具有自注意力的多头模型
• 训练三阶段多头模型
• 使用 UNET 生成的标注，用所有 3 万张图像训练第二阶段模型
• 使用 @underwearfitting 提供的重度增强训练第三阶段模型
• TTA（测试时增强）
• 裁剪黑色区域的预处理
  以及更多其他尝试

以上所有技术都没有在 LB 上提供显著的提升，尽管我们的 CV 提高了，最后我们决定坚持使用简单的模型。

我们的策略

我们使用了带有空间注意力的多头模型，并在伪标签 NIH 数据、Kaggle SIM 竞赛数据和测试数据上进行了微调，同时还在我们的集成中使用了四阶段的 Resnet200d。

模型

• 主干网络

  • Resnet200d
  • Effnet B5
  • Seresnet152d

• 图像尺寸

  • 640
  • 768

• 头部

  • 多头
  • 多阶段

• 伪标签

  • NIH 数据
  • SIIM 数据
  • 测试数据（3500 张图像）

CV 策略：我们使用了 @underwearfitting 提供的相同的折。我们发现它非常稳定，并且在我们引入泄漏之前与 LB 保持同步。

模型集成

我们在最终提交中使用了 8 个模型的集成，并利用 Optuna 和 OOF（袋外）预测来优化集成中每个模型的权重。

我们错过的一些事情

• 在高分辨率下训练，这会给我们的集成带来多样性，也会带来更好的 LB 分数，但我们的硬件资源有限。
• 使用我们自己的模型训练四阶段，而不是使用公共预训练模型，这可能会给我们带来很大的震动，但幸运的是，由于大模型的混合，我们没有受到影响。

最后，我要感谢我所有的队友 @nischaydnk、@adg1822 和 @shivamcyborg。这是我第一个全员为印度籍的团队，我非常享受这个过程，除了共同学习和沮丧之外，我们还建立了特殊的情谊。

感谢阅读