返回列表

14th place solution - fastai ensemble

437. Hotel-ID to Combat Human Trafficking 2021 - FGVC8 | hotel-id-2021-fgvc8

开始: 2021-03-10 结束: 2021-05-26 公共安全 数据算法赛
第14名方案 - fastai 集成学习
作者: Jo Tom | 排名: 第14名 | 发布时间: 2021-05-27

恭喜获胜者!🎉 分数超过 0.8,呼,我对你们的解决方案很好奇。

感谢主办方举办这次比赛!我想知道你们在比赛前的基准是多少?

第14名解决方案

概述

得分最高的提交(私有分数 0.616)是由五个模型组成的集成模型。

数据

我将训练限制在本次比赛提供的数据范围内。
我通过 fastai 库使用了来自 pytorch 的预训练模型。
没有使用外部数据。

数据准备

为了加快训练速度,将图像缩小至最大尺寸 512。缩放后的图像和缩放代码可以在这里找到:https://www.kaggle.com/joatom/fgvc8hoteltrain512

数据增强

Fastai 默认增强,加上一些额外的缩放和反射填充:

item_tfms=Resize(448, method='pad', pad_mode='reflection')
batch_tfms=aug_transforms(size=224)

训练

用于最终提交的所有模型都使用 fastai 库以类似的方式进行训练。其中五个模型是我在家中使用 RTX2070S 和 4 个 CPU 在混合精度模式下训练的。第六个模型是在 Kaggle 上训练的(见 notebook)。

  • 优化函数: QHAdam
  • 调度器: OneCycle;在模型 v1 中,每轮最大学习率线性衰减

用于最佳集成的单模型:

模型 架构 损失函数 (冻结)轮数 公共 LB 私有 LB 时长
v3 resnet50 CE (1)10 0.4746 0.4863 80 min
v5 resnet101 CE (1)10 0.5339 0.5422 140 min
v7 densenet161 CE (1)10 0.5484 0.5631 270 min
v8 densenet161 FocalLoss (1)10 0.5388 0.5574 270 min