第4名解决方案
作者：ishikei, ONODERA, fam_taro
比赛排名：第4名
解决方案概述
我们解决方案的重点是使用 pet1 元数据进行后处理。
- 图像模型
- 表格模型
- 在 pet1 表格数据上训练 XGBoost，并将预测结果与图像模型的预测结果混合。
- 如果 pet1 train ∧ pet2：使用 AdoptionSpeed 进行训练和推理
- 如果 pet1 test ∧ pet2：不使用 AdoptionSpeed 进行训练和推理
验证
- 本次比赛的数据中存在若干重复的图像对。因此，我们将这些图像对包含在同一个折中。（10折交叉验证）
预处理
- 为了使其看起来像 petfinder 网站上的缩略图视图，我裁剪了图像的长边，然后将其调整为所需的分辨率。
模型
图像模型
- 8个模型集成（简单平均）
- 所有模型均使用 BCE（二元交叉熵）损失进行训练。
- 此外，部分模型分别针对猫和狗进行了创建。
- 使用以往比赛数据进行伪标记（pseudo_label）持续改善了 CV。在此过程中，我为每个折创建了单独的伪标记，以防止标签泄漏。[参考链接]
| 模型 |
是否区分猫狗 |
是否使用伪标记 |
CV分数 |
| swin_large_patch4_window12_384 |
✓ |
|
17.3495 |
| swin_large_patch4_window7_224 |
✓ |
|
17.4379 |
| vit_large_patch16_384 |
✓ |
|
17.6727 |
| swin_large_patch4_window12_384 |
|
✓ |
17.1648 |
| swsl_resnext101_32x8d |
|
✓ |
17.2754 |
| swsl_resnext101_32x8d |
|
|
17.6335 |
| vit_huge (ImageNet MAE pretrained) |
|
|
17.7407 |
| ConvNeXt_xlarge |
|
✓ |
17.1516 |
--> 8个模型平均：CV=17.0058
表格模型
- 在 pet1 表格数据上训练 XGBoost，并将预测结果与图像模型的预测结果混合。
- 如果 pet1 train ∧ pet2：使用 AdoptionSpeed 进行训练和推理
- 如果 pet1 test ∧ pet2：不使用 AdoptionSpeed 进行训练和推理
- 在与图像模型预测结果混合时，分别在 [0.1 - 0.9] 范围内扫描 pet1(train) 和 pet1(test) 的表格模型预测混合比例，以找到能获得最佳 RMSE 的混合比例。
pet2 之前 CV(全部): 17.0058
----
pet1(train) ∧ pet2 图像 CV