第4名解决方案与经验分享

大家好，这是我们简短的解决方案总结：

我们尝试过且有效的方案

• 数据增强： 例如随机裁剪和旋转。使用 AutoAugmentation 效果显著。
• 主干网络： 由于资源限制，使用了 Resnest200 和 Resnet152。
• 预训练： ImageNet 预训练和 Softmax 预训练有助于收敛。
• 损失函数： 基于角度的损失函数，例如 ArcFace。
• 标签平滑
• 余弦学习率与热身
• 更大的输入尺寸： 我们尝试了 224、336、448 和 560。我们最终选择 448 作为输入尺寸，因为它的性价比更高。较小的输入尺寸会导致分数下降。

我们尝试过但无效的方案

• EfficientNet B7： 我们在 PyTorch 中训练了 B7 并将其转换为 TF savedmodel 格式，但最终因 笔记本超时 而失败。
• 其他得分较低的大型主干网络： SEResNext, APolyNet, FishNet, HRNet。
• 损失函数中的其他超参数： 例如更大或更小的 margin。
• AdaBN
• DCN

我们尚未尝试的方案

• 更大的主干网络： 例如 Resnest269。
• 看起来 B7 在这里有效。也许我们将模型从 PyTorch 转换为 TensorFlow 的方式导致了提交过程中的高时间成本。
• 像基线模型所做的那样的多尺度输入。
• EMA (指数移动平均)
• KD (知识蒸馏)

训练好的模型将在几天内上传。谢谢。