[第9名] 将模型预测作为特征

感谢 Kaggle 举办了另一场精彩的比赛，特别感谢所有参与并分享模型的人。

我在这里的方法与 Gemstone Price 比赛中的方法大致相似，即我使用模型预测作为附加特征。不过，对于生成训练集的预测，我采取了一种更常规的方法，即简单地通过交叉验证来完成。具体来说，我选取了以下模型：

• 模型 1： PS S3E10, 2023 EDA and Submission，作者 @sergiosaharovskiy v15。
• 模型 2： PS S3E10 | Pulsar research | 0.0321，作者 @dmitryuarov v1。
• 模型 3： PS3E10 EDA| XGB/LGBM/CAT Ensemble Score 0.03174，作者 @tetsutani v29。
• 模型 4： PS s3e10 FLIM-FLAML thank you ma'am，作者 @paddykb v1。
• 模型 5： PS S3 E10，作者 @alexandershumilin v5。

对于上述每个模型，我都生成了训练集（通过交叉验证）、测试集和原始数据集的预测结果。模型 1 的预测结果被视为一个新特征，模型 2-5 的预测结果也同样处理。这提供了额外的五个特征，我随后将其用于预测。

这五个模型使用扩展后的特征集重新运行，生成了我所谓的模型 1M、2M、3M 和 4M（没有 5M，因为结果与模型 5 的预测完全相同）。

我将这些模型与来自模型 1 的另一个提交文件（模型 1A）以及以下五个公共模型结合在一起：

• 模型 0： PS s3e10 GAM - Finger on the pulsaRRRRR，作者 @paddykb v2。
• 模型 6： PS3E10: R-GAM，作者 @syerramilli v4。
• 模型 7： Playground-s3e10-pulsars-gbdt-ensemble-optuna，作者 @eamonntweedy v1。
• 模型 8： PS3E10 : Ensemble Model Score - 0.03138，作者 @ashenranaweera v5。
• 模型 9： PG3E10 | MLJAR，作者 @andreychubin v4。

因此，如果我们算一下，现在总共有 15 个模型可以集成：0, 1, 1A, 1M, 2, 2M, 3, 3M, 4, 4M, 5, 6, 7, 8, 9。

我尝试了两种方法。在 Gemstone 比赛中，简单的中位数效果很好，但在这里我发现一个非常宽松拟合的玻尔兹曼集成效果更好——其参数设定为模型权重总和约等于六个模型。