第五名解决方案

哈！由于顶尖分数的饱和，我们原本预计会再次出现令人沮丧的排名洗牌。但我们把希望寄托在了我们的集成提交上。它没有让我们失望，我和 @sercanyesiloz 获得了我们的第一枚金牌并成为竞赛大师！

我现在会写一个简要的总结，明天会添加细节。

Anil 的 pipeline [链接]

• CatBoost
• 分层组 10 折交叉验证（类似于 @yunsuxiaozi 的方案）
• 通过交换 agent1-agent2，反转优势和效用标签来创建增强的训练行
• 为推理生成增强行，并与原始行预测进行平均混合
• 交叉验证 OOF: 0.4059 - 0.4030 (测试时增强)
• 排行榜 (LB): 0.421 / 0.427

还添加了调整后的优势作为特征：

((pl.col("AdvantageP1") * pl.col("Completion")) + (pl.col("Drawishness")/2)).alias("adv_p1_adj"), ((pl.col("AdvantageP2") * pl.col("Completion")) + (pl.col("Drawishness")/2)).alias("adv_p2_adj")

并且没有使用任何其他特征！

Catboost 参数:

cb_params = {
    "random_state": 42,
    "iterations": 3000,
    "learning_rate": 0.085,
    "depth": 10,
    "verbose": 100,
    "use_best_model": False,
    "task_type": "GPU",
    "l2_leaf_reg": 0.,
    "border_count": 254,
    "objective": "RMSE",
    "loss_function": "RMSE",
    "eval_metric": "RMSE",
}

Sercan 的 Pipeline

• CatBoost + LightGBM + DeepTables 的混合

DeepTables

• Min-Max 缩放
• 组 6 折交叉验证
• 学习率调度器
• Adam 优化器

nets = ['dnn_nets'] + ['fm_nets'] + ['cin_nets'] + ['ipnn_nets']
hidden_units = ((1024, 0.0, True), (512, 0.0, True), (256, 0.0, True), (128, 0.0, True))
embeddings_output_dim = 4
embedding_dropout = 0.1
apply_gbm_features = True
epochs = 7
learning_rate = 0.001

GBDT

• 堆叠 LightGBM & CatBoost
• 组 5 折交叉验证
• 来自 EnglishRules, LudRules, agent1 和 agent2 的一些 TF-IDF 特征
• 对最终预测进行后处理
• 加权集成

lgb_params = {
    'objective': 'regression',
    'min_child_samples': 24,
    'num_iterations': 13000,
    'learning_rate': 0.07,
    'extra_trees': True,
    'reg_lambda': 0.8,
    'reg_alpha': 0.1,
    'num_leaves': 64,
    'metric': 'rmse',
    'device': 'cpu',
    'max_depth': 24,
    'max_bin': 128,
    'verbose': -1,
    'seed': 42
    }

ctb_params = {
    'loss_function': 'RMSE',
    'learning_rate': 0.03,
    'num_trees': 13000,
    'random_state': 42,
    'task_type': 'GPU',
    'border_count': 254,
    'reg_lambda': 0.8,
    'depth': 8
    }

最终集成 [链接]

• Anil 和 Sercan 模型集的加权混合