第二名 - 信任交叉验证与多样性

我选定的 2 个提交方案中得分较高的那个是一个相当典型的集成模型：74 个 OOF（袋外预测）模型通过 Ridge 回归集成。但当我回顾我的提交记录时，发现私有榜单（Private LB）上得分最高的是一个由 11 个模型组成的集成，使用 HC（仅正权重）进行集成，包含以下内容：

• 2 个 Autogluon 模型，1 个没有特征工程（FE），1 个带有 autofeat 特征（感谢 @masayakawamata！）
• 2 个没有特征工程的 Catboost 模型
• 1 个带有目标编码（TE）特征的 LGBM 模型
• 1 个带有目标编码（TE）特征的 Catboost 模型
• 1 个使用 Huber 损失函数的 LGBM GOSS 模型，无特征工程
• 1 个基于 此 Notebook 的线性回归模型（感谢 @angelosmar1！）
• 1 个 ResMLP 模型（再次感谢 @masayakawamata！）
• 1 个 LNN 模型（感谢 @nikitamanaenkov！）
• 这是我最喜欢的一个（HC 也认同 :D），它是一个在原始特征 + Catboost 分类器概率（将目标分箱后）上训练的 Catboost 模型，然后我在残差上训练了另一个 Catboost（灵感来自 此处，感谢 @cdeotte！）