第32名方案 [第一部分] - FastAI TTA: Beta (+0.08 CV提升)

首先，感谢 Petfinder 和 Kaggle 官方举办了这场精彩的比赛。同时非常感谢我优秀的资深队友们：
@imeintanis (队长)
@mithilsalunkhe
@mrigendraagrawal
@khotijahs1

关于集成的第二部分请看这里。

我们团队的起步比较慢。起初我们只使用 swin large 224 进行实验，并尝试不同的系数，试图找到一些秘诀。

我们的努力得到了回报，我们在 @tanlikesmath 提供的 fastai 入门 notebook 中发现了一些特别之处。

他将 beta 设置为 0。在深入研究 fastai 关于 TTA（测试时增强）的简短文档后，我们发现 beta 实际上是一种权重，用于决定在多大程度上使用基于增强的预测。对于那些坚持使用 beta=0 的人来说，我认为他们只是在做没有增强的预测。

在实践中，我们使用训练集的变换获取 n 次预测并取平均值。最终预测值是 (1-beta) 乘以该平均值 + beta 乘以通过数据集变换获得的预测值。 - FastAI 文档

TTA 可视化

我是这样想象的（不确定，因为文档不是很清楚）：

CV 结果

尽管如此，改变 beta 对我们的 CV 分数显示了显著的效果。我们在 这里 分享了一个包含整个过程的 notebook。

首先，我们根据较大的 beta 步长（0.1）手动计算 CV，以大致了解哪些 beta 值表现最好。基于此，我们已经可以看到 CV 从 17.55 提高到了 17.4825。这可以在 notebook 的版本 1 中看到。

模型: 224 swin large (增强: Flip(), Rotate(max_deg=10))