第 8 名解决方案

对于我们的最终模型，我们使用了具有以下参数的 CatBoostClassifier：

model = cb.CatBoostClassifier(
    iterations=30000,
    learning_rate=0.02,
    random_strength=0.1,
    depth=8,
    loss_function='Logloss',
    eval_metric='AUC',
    leaf_estimation_method='Newton',
    random_state=1,
    subsample=0.9,
    bootstrap_type='Bernoulli',
    task_type='GPU'
)

我们还在提交中使用了 目标反转 (target reversals) 方法。

GPU 设置

我们在训练过程中使用了两块 GPU：

NVIDIA GeForce RTX 4060 - 我个人电脑的 GPU，用于初始模型训练和测试阶段，速度较慢但有时得分更高。
NVIDIA A100 - 由巴伊兰大学 (Bar-Ilan University) 提供，这块 GPU 使我们能够高效处理模型所需的大型数据集和大量迭代。

交叉验证与结果

我们采用了 10 折 StratifiedKFold 交叉验证方法，每折运行 30,000 次迭代。这种方法确保了我们的模型在不同数据子集上具有鲁棒性和泛化能力。以下是每折的最佳迭代次数和相应的 ROC-AUC 分数：

总训练时间为 15 小时。所有折的平均 ROC-AUC 分数为 0.895693。

我们很享受参与这次比赛，并期待未来更多的比赛。

另外，热烈祝贺 Ravi Ramakrishnan 和 Minato Namikaze 的 第一名精彩获胜方案。