第17名方案 - 上采样与模型

我们的团队感谢 Google Research 和 Kaggle 组织了这样一场精彩的比赛。

模型

我们最终得分为 0.835 的方案由以下模型组成：

• LoFTR DS/OT（DS 使用默认设置，OT 的 match_coarse 阈值为 0.55）
• SuperPoint/SuperGlue
• DKM（100 个特征点）
• MatchFormer-LargeLA（match_coarse 阈值为 0.55）

使用 Lanczos 插值进行上采样（8×8 像素邻域）

对我们的方案影响最大的部分是使用 Lanczos 插值进行的上采样。总的来说，除了 MatchFormer 之外，我们将所有模型的图像都放大了 1.5倍，然后使其尺寸能被 8 整除。最后，关键点的位置使用相同的比例因子进行调整。我们认为许多模型中使用的 CNN，尤其是 LoFTR，可以简单地从上采样的图像中提取更丰富的局部特征。

img = cv2.resize(img, None, fx=1.5, fy=1.5, interpolation=cv2.INTER_LANCZOS4)

w, h = img.shape[1], img.shape[0]
w, h = w // 8 * 8, h // 8 * 8

img = img[:h, :w, :]

离群点检测

对于离群点检测，我们使用了 OpenCV 中简单的 MAGSAC：

cv2.findFundamentalMat(keypoints_1, keypoints_2, cv2.USAC_MAGSAC, ransacReprojThreshold=0.25, confidence=0.99999, maxIters=100000)

哪些方法对我们无效？

以下是一些遗憾的是未能提高我们分数的方法列表。

• SuperGlue 重新训练或微调（我们这样做是为了将其与 DISK 描述符结合）
• DISK + OANet
• 从旋转图像中计算额外的关键点
• LoFTR 的逆图像顺序