第 6 名解决方案：多模型集成反而有害？

大家好，

我的解决方案很简单：

• 5 折 StratifiedKFold 用于验证。
• 包含原始数据集。
• XGB 和 LGBM 的集成。
• Optuna 超参数调优。

我没有像往常那样在这次比赛上投入太多时间，因为我注意到结果存在大量的随机性。我的评估似乎得到了验证，因为一位新的 Kaggle 用户 @furgalhachaimajhi 仅凭单次提交就获得了第 2 名（顺便恭喜他！）。

对我来说，这次比赛最有趣的地方是单个模型或非常小的集成表现异常出色。这让我想起了一年多以前的一场 Playground 比赛，当时我用单个 CatBoost 模型获得了第 54 名。Single Model Catboost PS S3 E4

我的解决方案深受 @rzatemizel 的笔记本 LGBM + CATB+ XGB + NN: Voting or Stacking? 启发（记得点赞），该笔记本采用带有交叉验证的递归特征消除来确定要包含在集成中的模型。