第 33 名解决方案

我要感谢 UM 组织者和 Kaggle 团队举办如此有趣的比赛。凭借一点运气，我取得了史上最好的名次，我感到非常激动！

概述

结果本质上是两个 CatBoost 模型的集成。
两个模型的主要区别在于特征和超参数。

特征工程

• 从 LudRules 提取的特征
• 算术运算：在高特征重要性的特征之间进行
• 移除特征：移除特征重要性得分为 0 的特征
• 使用的特征和移除的特征是基于公共 leaderboard 分数确定的。我相信这个决定对结果贡献显著。
• 模型 1 和模型 2 使用了 mostly 相似的特征，但对于模型 2，排除了 TF-IDF 特征和通过独热编码生成的特征。

验证

• 对于模型 1 和模型 2，都使用了以 'GameRulesetName' 为组的 GroupKFold。
• 折数：
  • 模型 1: N=5
  • 模型 2: N=10

模型训练

• 模型 1: 支持 GPU 的 CatBoost

  • 使用 'RMSE' 作为 eval_metric
  • 应用 'R2' 作为 custom_metric

• 模型 2: 支持 GPU 的 CatBoost

  • 应用多个 custom_metric 值：['MAE', 'Tweedie:variance_power=1.5', 'Huber:delta=1.0', 'R2']

由于我缺乏经验和知识，这些指标的选择是基于它们对公共 leaderboard 的影响。我也相信结果与交叉验证 (CV) 相对吻合。

集成与后处理

• 集成计算方式为：
  Model 1 * 0.3825 + Model 2 * 0.7225

• 基于公开代码，限制高于 1.1 的值是有效的，所以我应用了它。

谢谢。