473. PetFinder.my - Pawpularity Contest | petfinder-pawpularity-score
我们最终的提交由 (10个 PyTorch 模型)*0.7 + (1个 FastAI 模型)*0.3 组成。(10个 PyTorch 模型) 使用 5 折交叉验证训练，(1个 FastAI 模型) 使用 8 折交叉验证训练。所有模型都使用之前的 "PetFinder Adoption Speed data" 竞赛数据集进行伪标签训练。我们对 (10个 PyTorch 模型) 使用了简单的平均法。
我们的集成模型还包括一些仅在 "猫" 和 "狗" 图像上训练的模型，将这些单独训练的猫模型和狗模型结合起来，CV（交叉验证分数）和 LB（排行榜分数）都有轻微的提升。其基本原理是 "猫" 比 "狗" 更容易预测，因此我们更侧重于改进单独的狗模型。因此我们也把这些模型包含在了集成中。我们只使用了两种 TTA（测试时增强）：1. "CenterCrop"（中心裁剪） 和 2. "CenterCrop + HFlip"（中心裁剪 + 水平翻转），使用其他 TTA 反而降低了我们的 CV 分数。
所有模型均使用 BCE 损失函数训练，不同模型间的增强配置略有不同，包括 "HFlip"（水平翻转）、"ColorJitter"（颜色抖动）、"CenterCrop"（中心裁剪）、"RandomResizedCrop"（随机调整大小裁剪）、"ToGray"（转灰度）、"ShiftScaleRotate"（平移缩放旋转）、"IAASharpen"（锐化）和 "MixUp"（混合）。我们发现，即使使用相同的架构，这种方法也能提高模型的多样性。
| 模型 | CV | Public | Private | 备注 |
|---|---|---|---|---|
| swin_large_patch4_window7_224_in22k | 16.5 | 17.87 | 17 | 外部数据 |
| ig_resnext101_32x8d | 17.14 | 18.04 | 17.08 | 外部数据 |
| ig_resnext101_32x8d (x2) | 17.1 | 18.06 | 17.06 | 外部数据 (仅猫 + 仅狗模型) |
| vit_large_patch16_224_in21k (x2) | 17 | 18.04 | 17.22 | 外部数据 (仅猫 + 仅狗模型) |
| tf_efficientnet_b4_ns (x2) | 16.98 | 18.09 | 17.2 | 外部数据 (仅猫 + 仅狗模型) |
| swin_large_patch4_window7_224_in22k | 17.04 | 18 | 17.07 | 外部数据 |
| tf_efficientnet_b4_ns | 17.07 | 18.03 | 17.1 | 外部数据 |
| vit_large_patch16_224_in21k | 17.08 | 17.96 | 17.07 | 外部数据 |
| swin_large_patch4_window12_384_in22k | 16.99 | 17.99 | 17.04 | 外部数据 |
| ig_resnext101_32x8d | 17.06 | 17.98 | 17.1 | 外部数据 |