第5名方案 - 简要总结

首先，我要感谢我的队友 @nischaydnk 和 @shivamcyborg，没有他们，这一成就将无法实现。我们在7月12日合并组队，从那时起，我们探索并实施了许多新想法。

我还要感谢 Kaggle、SIIM、FISABIO、RSNA 举办了这场精彩的比赛，也要感谢这里所有分享了精彩讨论和 notebook 的人。祝贺所有的获奖者！

相信我们最大化的 CV 分数再次为我们带来了成功。我们大部分时间都花在分类模型上，这也是我们在排行榜上获得不错名次的原因。

我们没有使用任何外部训练数据。所有模型均在移除重复数据后的比赛数据上进行训练，正如此处所建议的那样。

交叉验证： 分层分组 KFOLD (Stratified Group KFOLD)

第一部分：研究

1. 我们使用了由 11 个模型组成的集成模型。
2. 基础架构 = Efficientnet v2m, Efficientnet v2l, Efficientnet B5, Efficientnet B7
3. 模型在 [512, 720] 范围内的不同图像尺寸和不同的增强方式下进行训练。
4. 使用了由 @hengck23 建议的分割作为辅助损失。
5. v2 模型使用了自定义 pcam 池化头 + 注意力机制。
6. b5, b7 使用了由 @ttahara 建议的多头 + concat pool + 注意力机制。
7. 我们还使用了 @moewie94 在此处建议的 Noisy Student 训练方法。
8. 推理过程中使用了 Hflip TTA（水平翻转测试时增强）。

第二部分：二分类（none 类预测）

1. 我们使用了 2 个五折模型的集成（efficientnetv2m , efficientnetb6）。
2. 模型在 512 的图像尺寸上训练。
3. 使用了由 @hengck23 建议的分割作为辅助损失。
4. v2m 模型使用了自定义 pcam 池化头 + 注意力机制。
5. b6 是使用 @hengck23 提供的流程进行训练的。
6. v2m 模型实际上是在 4 类研究数据上训练的。我们使用 negative 预测作为 none，并将这些与上述模型的 binary 预测合并。
7. 推理过程中使用了 Hflip TTA。

第三部分：检测（opacity 预测）

1. 我们使用了 5 个五折模型的集成。
2. 使用的模型 = efficientdetD3, efficientdetD5, yolov5x, yolov5l6, retinanet_x101_64x4d_fpn
3. 使用的图像尺寸 = 896, 512, 620, 620, (1330, 800)
4. 我们首先仅在 opacity 预测上训练 d5, d3, yolov5x, yolov5l6。我们使用 WBF (iou=0.62) 生成公共测试集的伪标签。然后我们使用这些标签再次训练 d3, yolov5x, yolov5