第二名方案总结
第二名方案总结
作者:nvnn (队友: steamedsheep, haqishen, dvtoan7997, underwearfitting)
比赛:SIIM-FISABIO-RSNA COVID-19 Detection
感谢 SIIM、FISABIO、RSNA 和 Kaggle 主办了这场有趣的比赛。我非常感谢我的队友 @steamedsheep、@haqishen、@dvtoan7997 和 @underwearfitting,大家都做得非常好,最终我们获得了第二名。
以下是我们本次比赛的方案。
研究级别
我们主要开发了 2 个流程,然后进行了集成。
流程 1
模型: NFnet, Cait: eca_nfnet_l1, eca_nfnet_l2, dm_nfnet_f2, dm_nfnet_f3, cait_xs24_384。
- NIH 数据集预训练: 与其他团队类似,预训练提高了我们的 CV(交叉验证)和 LB(排行榜)分数。
- 5 分类任务: 我们添加了 "none" 作为第 5 个类别。
- 由于辅助头没有提高我们的 CV 分数,我们在此流程中未使用辅助头。
- 为了增加多样性,我们使用了不同的预处理方法(直方图均衡化、Ben's 预处理、添加肺部分割通道)和不同的模型架构。
- 未使用外部数据。
- 所有模型均在 384x384 分辨率下训练。
流程 2
模型: EfficientnetV2m
- 使用了分割辅助头。
- 为了增加多样性,我们使用了 5 种不同的增强方式,4 个模型使用外部数据和 BCE Loss 训练,5 个模型使用 CE Loss 训练。
- 模型在 512x512 分辨率下训练。
图像级别
None(无异常)检测
我们集成了来自 3 个来源的 None 概率:
- 用于检测 None 的 2 分类模型。
- 流程 1 中的 None 概率。
- 流程 2 中的负样本概率。
Opacity(不透明度/病变)检测
- Yolov5: 我们使用了 5 种不同的主干网络 (resnet52, resnet101, yolov5m, yolov5x, eca_nfnet_l0)。所有模型均在 384x384 下训练。
- YoloX: 我们使用了 2 种主干网络 (yolox-m 和 yolox-d)。模型在 384x384 下训练。
- EffDet D5: 在 512x512 下训练。
结果
研究级别
| 流程 |
CV |
Public LB |
| 流程 1 |
0.596 |
0.406 |
| 流程 2 |
0.598 |
0.407 |
| 集成 |
0.604 |
0.410 |
None 检测
| 流程 |
CV |
Public LB |
| 集成 |
0.822 |
0.134 |
Opacity 检测