第 12 名解决方案

鉴于本次比赛与 Tabular Playground Series 比赛的相似性，且我和队友都是经验丰富的 TPS 参与者并取得过成功，我们决定将我们在合成表格数据集方面的知识应用于本次比赛。

TL;DR：大型集成模型，极简特征工程，外加一些额外技巧。

在三个月的时间里，我们训练了大量的模型库并尝试了各种集成技术。比赛结束时，我们总共积累了 98 个模型，这些模型基于各种不同的目标变换训练而成。鉴于基础模型数量庞大，我们还在集成过程中进行了特征选择，以减少模型数量并提高 CV 分数。

最终方案

我们的最终方法包含一个多层集成：

1. 第一层：多样化的基础模型集，包括梯度提升树模型、神经网络和 AutoML。
2. 第二层：三种不同的集成方法——Ridge 回归、hill climbing 和 AutoGluon。我们为每种集成方法分别进行了特征选择。
3. 第三层：对三个第二层模型的 OOF 预测进行加权集成。
4. 最后一步：我们使用 LGBM 分类器并应用 masking trick 获得最终预测。

下面，我们提供所有基础模型和集成模型的 CV 分数。

致谢

我们要感谢组织者举办了一场有趣的比赛，也要感谢所有分享见解和想法的人，特别是 @ambrosm、@adaubas、@andreasbis 和 @mtinti。

个人而言，我想祝贺并大大感谢我的队友 @rzatemizel。这是我们的第一枚比赛奖牌，我无法要求更好的合作伙伴了！