返回列表

brief summary of 2nd place

340. Open Images 2019 - Visual Relationship | open-images-2019-visual-relationship

开始: 2019-06-03 结束: 2019-10-01 计算机视觉 数据算法赛
第二名方案简述

第二名方案简述

作者: tito (Grandmaster) | 比赛: Open Images 2019 - Visual Relationship

恭喜所有的获奖者,也感谢比赛组织者再次举办这场有趣的比赛。

我使用的架构与去年几乎相同。所以我只总结一下不同之处。

模型 1:目标检测 (Object Detection)

我使用 mmdetection 制作了 Cascade-RCNN 模型。

相比去年的 YOLO 模型,57 个类别的 mAP 有了很大提升,提高了超过 0.1。

模型 2:视觉关系 (Visual Relationship)

2-1:关系 'is'

我为这部分制作了 3 个模型,然后对它们进行了集成。

2-1-1:关系 'is'(两阶段模型)

这是我去年用于 'is' 关系的模型。

2-1-2:关系 'is'(单阶段模型)

我制作了一个检测 42 个 'is-relation' 类别的 Cascade-RCNN 模型。这个模型与去年 'toshif' 解释的几乎一样。

2-1-3:关系 'is'(带 Material Head 的单阶段模型)

我在 Cascade-RCNN 中加入了 'material'(材质)检测头。这个模型同时预测边界框、类别和材质。

Material Head Architecture

结果:

模型 Public 分数 Private 分数
2-1-1 0.07523 0.07264
2-1-2 0.08332 0.08075
2-1-3 0.08191 0.07948
集成模型 0.08514 0.08232

我原本预期 2-1-3 会有更好的分数……

2-2:三元组关系

这部分的基模型与我在这里分享的几乎相同。

我制作了专门负责小样本类别的专家模型,并通过概率的加权平均将它们集成。

这是验证数据集的 AP 结果:

同比赛其他方案
类别 真实 BB 预测 BB
at93%31%
on92%32%
holds89%54%
plays94%58%
interacts with82%45%
inside of72%37%
wears94%55%
hits55%57%
under50%20%