感谢 Kaggle 举办这场有趣的游戏场竞赛！作为我的第一场游戏场竞赛，这次经历非常有价值。我从慷慨分享方法的 Kaggle 社区成员那里学到了很多 ML 技术。

最终提交

• 最佳 CV (0.3842 CV 分数): 50 模型集成使用 XGB

• 最佳 LB: (0.38384 公共分数和 0.38454 私有分数)

集成架构

获胜的方法是仅使用 XGBoost 的集成，它包含以下内容：

1. TabTransformer 模型 (共 3 个)

• 2 个带有特征工程的 TabTransformers

• 1 个不带特征工程的 TabTransformer
  参考：TabTransformer

2. 梯度提升模型

• YDF: 2 个模型 (无特征工程)

• CatBoost: 3 个模型 (2 个带特征工程，1 个带特征选择)

• LightGBM: 约 10 个模型，包括：

  • 标准 LGBM 带/不带特征工程

  • LGBM GOSS

  • 不同特征组合

• XGBoost: 多种配置：

  • 仅原始数据

  • 增强数据

  • 重复 K 折交叉验证 (Repeated KFold)

  • 多样化特征集

3. 神经网络 (共 6 个)

• 各种架构带有不同特征工程
  参考：NN

4. 其他模型

• 2 个 AutoGluon 模型带特征工程

• 2 个随机森林 (无特征工程)

• 线性模型：

  • 1 个线性回归

  • 1 个 SGD 模型
    参考：Linear Regression