第8名方案
第8名方案
作者： czy is not leaky
比赛排名： 第8名
感谢所有的Kaggle参赛者和组织者。我从这次比赛中学到了很多。
数据
- 使用分层5折交叉验证（stratified 5-fold CV）在2020年的数据上进行训练和验证。
模型
- EfficientNet B6 (使用 Noisy Student)
- ResNeSt50
- Vision Transformer (base patch16)
我最好的单模型是 EfficientNet B6，它在公共排行榜上得分0.903，在私人排行榜上得分0.8946。
数据增强
- HorizontalFlip (水平翻转), Transpose (转置), VerticalFlip (垂直翻转)
- HueSaturationValue (色调饱和度亮度调整)
- CoarseDropout (粗粒度Dropout)
- RandomBrightnessContrast (随机亮度对比度)
- ShiftScaleRotate (平移缩放旋转)
- RGBShift (RGB偏移)
- Cutmix
- Fmix
- Snapmix
- ISDA (隐式语义数据增强)
https://arxiv.org/abs/2007.10538
Cutmix和Fmix的结合可以提升CV分数，但Snapmix会让训练变得不稳定，可能需要仔细调整超参数。因为时间原因我没有尝试ISDA，但我认为它可能会带来惊喜的效果。
损失函数
与其他损失函数相比，LabelSmoothing (参数设为0.1或0.2) 取得了最好的表现。
训练
- 优化器：Adam, AdamW, AdamP, Ranger
- 学习率调度器：CosineAnnealingWarmRestarts
推理
- 8xTTA (转置, 翻转)
- 集成 (简单的平均)
我在这次比赛中学到的最重要的事情就是永不放弃，因为不到最后谁也不知道结果。
最后，希望大家在下一场比赛中都能拿到金牌。感谢我的队长 YuBo 和我的女朋友 MingJun。