第23名解决方案

首先，恭喜所有获得奖牌的团队以及完成本次比赛的参赛者，同时也感谢 Kaggle 团队和比赛主办方。
通过这次比赛，我学到了很多东西，特别是关于教师-学生学习方面的知识。

我要特别感谢 @ammarali32。在比赛中期我差点就要放弃了，但阅读了他有趣的方法后，我决定继续坚持。

我的方法并不是很特别。下面我展示一个简短的总结。

总结

最终提交结果（Public: 0.970, Private: 0.972）是以下 6 个模型的平均值。
所有模型使用的图像大小均为 640x640。

• 模型1: ResNeSt200 (Public: 0.965, Private: 0.966)
  • 预训练模型：ImageNet
  • 分类头：Single MLP
  • 训练：在比赛数据上进行微调
    
    
• 模型2: ResNet200d (Public: 0.968, Private: 0.971)
  • 预训练模型：@ammarali32 的起始点
  • 分类头：Multi Spatial-Attention Head
  • 训练：在比赛数据上进行微调
    
    
• 模型3: EfficientNetB5-NoisyStudnet (Public: 0.966, Private: 0.969)
  • 预训练模型：@ammarali32 的起始点
  • 分类头：Multi Spatial-Attention Head
  • 训练：在比赛数据上进行微调
    
    
• 模型4: SE-ResNet152d (Public: 0.967, Private: 0.968)
  • 预训练模型：@ammarali32 的起始点
  • 分类头：Multi Spatial-Attention Head
  • 训练：在比赛数据上进行微调
    
    
• 模型5: ResNeSt200e (Public: 0.966, Private: 0.967)
  • 预训练模型：通过教师-学生训练 在 NIH Chest X-rays 数据集上训练的模型
  • 分类头：Multi Spatial-Attention Head
  • 训练：在比赛数据上进行微调
    
    
• 模型6: ResNet200d (Public: 0.966, Private: 0.970)
  • 预训练模型：@ammarali32 的起始点
  • 分类头：带有 分割 分支的 Multi-Head Attention
  • 训练：
    • 阶段1：仅在带标注数据上训练
    • 阶段2：仅在无标注数据上训练

我真的很想对所有模型都在 NIH Chest X-rays 数据集上进行教师-学生训练。但由于缺乏时间和计算资源，我使用了 @ammarali32 的起始点。

事实上，通过对模型 2、3、4 进行平均（提交 notebook），你可以达到 Private 0.972（银牌？），这是 我的多头方法 和

同比赛其他方案