第1名 - 获胜方案

我现在不在家（实际上是在度假），但想分享一下我解决方案的宏观思路。明天我会写得更详细些。

我主要使用了三个非常棒的库：PyTorch Image Models（感谢 Ross Wightman）、RAPIDS cuml（感谢 NVIDIA）以及 OpenAI 的 CLIP。

该解决方案是 SVR（表格数据）和图像模型的集成。

• 对于表格 SVR 部分，特征是使用 timm 和 openai clip 库从预训练架构中提取的，然后将多个预训练模型的嵌入拼接起来，并在其上训练了一个 cuml SVR。生成的数据集有数千列，只有使用 cuml SVR 我才能在合理的时间内拟合该数据集。更好的是，我从 timm 库中可用的大多数模型中提取了特征，并使用前向模型选择来挑选最适合 SVR 的模型。
  提取特征 SVR CV: 16.92

• 解决方案的图像部分是一种标准的图像回归方法，训练了一些视觉 Transformer 和 CNN 模型，然后对预测结果进行集成。我最好的单一模型是 beit_large_patch16_224，CV 分数约为 17.38。
  图像集成 CV: 17.02

最终解决方案是这两种方法的集成。
CV: 16.818 / Private LB: 16.8225（本地 CV 和 Private LB 非常接近，不确定是否只是运气好）

非常感谢 Kaggle 和 Petfinder 让这一切成为可能。同时祝贺所有获奖者、金牌、银牌和铜牌得主，以及所有享受并为此比赛做出贡献的人。这对我来说非常特别，因为这是我在图像竞赛中第一次单人夺冠。

Giba