第39名 - 如何训练 EfficientNet

简介

感谢 Kaggle 和 Petfinder 主办了这场精彩的比赛。构建模型来帮助宠物真的非常有趣。
我想我的解决方案读起来可能没那么有趣（Swin 模型的集成和一个 EfficientNet）——所以我将重点介绍其中的一部分——我是如何训练 tf_efficientnet_b4_ns 以获得可靠的 CV/LB 分数的。

训练细节

1. 将 Batch Norm 设置为 eval 模式 —— 最重要的部分
2. 冻结 conv_stem 和前 3 个 blocks
3. 通过 timm 创建模型时设置 drop_rate=0.1
4. 使用 multi-sample dropout（与其他三种方法相比，CV 分数略有提高）
5. 单个 tf_efficientnet_b4_ns 模型的 CV/Public LB/Private LB 分数：17.3041/17.92043/17.1051

总的来说，对于我所有的模型，我还使用了旧 Petfinder 比赛中的伪标签。
正如其他解决方案中多次提到的那样，我相信我的 CV。最好的 CV 模型在 Public LB 上仅得分 17.84。

感谢大家的参与！