首先，我们要感谢主办方为我们提供了这样一个绝佳的学习机会。
我们也要感谢分享了想法和知识的优秀参赛者们，特别是 @cdeotte 和 @ragnar123 对比赛做出了巨大贡献。谢谢你们！
摘要
模型
| #1 | #2 | #3 | #4 | |
|---|---|---|---|---|
| cv | 0.877 | 0.875 | 0.877 | 0.873 |
| img_size (图像尺寸) | 224 | 224 | 560 | 560 |
| img_backbone (图像主干) | swin_large_patch4_window7_224 | swin_large_patch4_window7_224 | efficientnet_b3 | efficientnet_b3 |
| text_backbone (文本主干) | xlm-roberta-base | bert-base-multilingual-uncased | bert-base-multilingual-uncased | bert-base-uncased |
| cnn_lr (CNN学习率) | 4e-5 | 4e-5 | 2e-4 | 2e-4 |
| bert_lr (BERT学习率) | 1e-5 | 1e-5 | 5e-5 | 5e-5 |
| fc_lr (全连接层学习率) | 5e-4 | 5e-4 | 2e-4 | 2e-4 |
| batch_size (批次大小) | 16 | 16 | 16 | 16 |
| scheduler (调度器) | linear_schedule_with_warmup | ReduceLROnPlateau | CosineAnnealingWarmRestarts | CosineAnnealingWarmRestarts |
| loss (损失函数) | ArcFace(m=0.5, s=32) | ArcFace(m=0.5, s=32) | ArcFace(m=0.5, s=50) | ArcFace(m=0.5, s=50) |
| optimizer (优化器) | AdamW(weight_decay=0.1) | Adam | Adam | Adam |
相似度
使用欧氏距离和余弦相似度来获取最近邻。
我们使用阈值进行提交。
阈值调整
余弦相似度阈值使用 CV+0.2，欧氏距离使用 CVx0.7。
集成方法
4个模型 * 3