返回列表

13th Place Solution

611. Image Matching Challenge 2024 - Hexathlon | image-matching-challenge-2024

开始: 2024-03-25 结束: 2024-06-03 计算机视觉 数据算法赛
第13名解决方案 - 图像匹配挑战赛 2024

作者: Jow | 排名: 第13名 | 比赛: 图像匹配挑战赛 2024

团队成员: sugupoko, Jow, U-Bex (shuichiurabe), sakuai, rsobtt

第13名解决方案概述

首先,我要向比赛组织者和Kaggle工作人员表达我的谢意。通过这次比赛我学到了很多。

解决方案概述示意图

我们的基本策略是使用基于IMC2023 第六名方法的旋转抵抗模型,并采用多模型方法结合Alike‑LightGlue。此外,我们根据不同场景进行了若干调整。

针对透明物体的措施

1. 裁剪图像中心区域

我们的队友 @sugupoko 发现,仅使用图像的中心部分可以提高透明物体的精度。该方法基于透明物体不会从中心移开的假设。因此,我们在本地测试中圆柱体的得分超过了0.2。此外,通过将相机模型设置为单相机,我们的圆柱体得分达到了 0.463

裁剪中心区域示意图

2. 去除像素坐标相近的关键点

我们观察到圆柱体对反光过于敏感,由于图像变化很小,容易匹配错误的关键点。因此,在完成匹配后,我们删除了 x 和 y 坐标差都在 5 像素以内的关键点,因为这些很可能是错误的关键点。

去除错误关键点示意图

针对教堂(对称与重复)的措施

教堂的挑战在于区分正面和背面,导致相机聚焦于正面。

教堂场景示意图

为了捕捉超出时钟的细节,我们实现了一种将图像划分为四个区域来检测关键点的方法。最终,通过模型集成并将相机模型设置为简单针孔模型,我们在训练数据上获得了 0.3561 的分数。(注:我们的最终提交对所有场景使用了简单径向模型。)然而,这仍未解决区分正面和背面的难题。

我们尝试但未成功的方案

  • 我曾对端到端匹配模型寄予厚望。然而,由于推理时间的限制,我未能将 RoMA 和 OmniGlue 纳入最终提交,且 Xfeat 在本地也没有获得高分。
  • 与 IMC2023 类似,我实现了一种基于匹配点来确定并裁剪感兴趣区域(RoI)的方法,但这导致我们的分数下降。
  • 我尝试使用 CLAHE 对暗图像进行图像校正,但这也没有效果。
同比赛其他方案